Pos2Distill团队 投稿足球投注app

量子位 | 公众号 QbitAI

说话模子遇到严重的位置偏见，即模子对不同潦倒⽂位置的明锐度不⼀致。模子倾向于过度关心输⼊序列中的特定位置，严重制约了它们在复杂推理、⻓⽂本会通以及模子评估等要害任务上的进展。

举例，在对⽐两个候选谜底时，模子常因偏好⾸个选项⽽挫伤其看成评估器的公说念性与可靠性。

针对这⼀挑战，论⽂建议了 Pos2Distill，⼀个更正的“位置到位置”蒸馏框架。该框架旨在将模子在上风位置的强⼤能⼒转移⾄颓势位置，从⽽灵验缓解位置偏⻅。

其核⼼念念想恰如古语所云：“解铃还须系铃⼈”，利⽤模子⾃⾝已习得的学问，来修订其⾃⾝的系统性偏差。

其基开心趣不错详尽为：利⽤位置本⾝形成的性能不平衡，来回击位置偏差这⼀问题。

团队发现，位置偏差在“检索”和“推理”这两类任务中诱发的进展不同，因此基于上述核⼼旨趣，团队分裂联想了两种专⻔的完毕⽅案：Pos2Distill-R1和Pos2Distill-R2。

采⽤Pos2Distill⽅法后，模子在⻓⽂本检索和推理任务中的统共位置上都进展出更好的⼀致性，这两个专⻔联想的系统不仅在各⾃对应的任务上进展优异，相互之间还进展出很强的跨任务泛化能⼒。

已有的职责：在信息丰富的场景中，举例检索增强⽣成、⻓潦倒⽂推理以及将⼤语⾔模子（LLM）⽤作评判者等，位置偏差组成了重⼤抨击。当要害信息被苟且分散在输⼊的各个位置时，LLM 时常⽆法灵验识别和整合这些核 ⼼本色，最终导致其在各式应⽤中出现只怕的失败。为缓解PB问题：

一类职责试图通过修改与潦倒⽂明锐度不均相关的要害架构组件或里面示意来进⾏减轻位置偏见。然⽽，尽管近期在缩⼩性能差距⽅⾯取得了⼀些进展，模子在“上风位置”和“颓势位置”之间的信息利⽤率也曾存在巨⼤各异。

另⼀类相干⽅公法采⽤了密集的潦倒⽂感知进修，通过合成具有细粒度信息感知的进修数据来普及模子性能。然则，这类数据运转的⽅法频繁在数据合成和贪图资源⽅⾯都需付出⾼昂的老本。

因此，学术界和⼯业界要紧需要⼀种简略克服这些局限、既灵验⼜⾼效的战略来缓解PB。

先导执行：分析揭示，PB在“检索”和“推理”这两种不同的任务范式下进展出不同的⾏为。

atural PB for Retrieval：在检索任务 （retrieval）中，PB主要进展为“词元偏移”（token-shifting），即在黄金文档所处位置不同，大部分的response具有雷同的前缀，只在要害的生成位置发生不合，由此诱发retrieval的失败。 一朝这些失实的token简略被修正，模子又不错输出正确的谜底；

Compound PB for Reasoning：在推理任务中，PB 既体咫尺检索历程中的变化，也体咫尺推理历程中发生的改变，最终导致念念维链条的偏移（thought shifting）。因此，至关首要的是通过整合真确相关的信息与推理链来重塑举座的反馈轨迹。

针对这两种情况相应地斥地了两个系统：Pos2Distill-R1 和 Pos2Distill-R2。Pos2Distill-R1 通过引⼊ KL 散度（Kullback-Leibler divergence）吃亏来提供细粒度的修订信号，从⽽缓解检索任务中的“词元偏移”。

Pos2Distill-R2 则通过蒸馏来⾃上风位置输⼊的优质CoT反馈，来带领和修订颓势位置的推理轨迹，从⽽处置推理任务中的“念念维偏移”。

算法联想（Pos2Distill-R1 for Retrieval）：该框架由两个中枢模块组成：如图 4a 所示的时常位置激活和上风位置锚定。前者促进将高进展的上风位置中的灵验处理才能转移至运用不及的无效位置；后者确保上风位置已诞素性能的保捏，从而缩短无效位置与上风位置之间的差距。

时常位置激活：为修订 token shifting 行为，在每个生成设施中运用 KL 散度看成细粒度的对王人信号。

位置感知的对王人：PB激励的上风位置与不同时常位置之间的对王人难度具有位置依赖性，因此具有高对王人难度的位置应该优先实行梯度更新。

因此激活时常位置的吃亏为：

上风位置的锚定：在蒸馏历程中，模子会意志到要害信息可能出咫尺潦倒文窗口的苟且位置，这可能会缩短对上风位置（sink position）的权贵防卫力，从而潜在地挫伤在万般下流任务中的举座才能。为防护这一问题引入锚定吃亏，以保捏上风位置的灵验性。

进修倡导吃亏：交融了激活吃亏（activation loss）和锚定吃亏（anchoring loss），体式化示意为：

算法联想（Pos2Distill-R2 for Reasoning）：

率先从上风位置 采样链式念念维（CoT）推理轨迹。肖似于检索任务的历程，为每组位置构建 (K) 个不同的时常提醒。随后使用交叉熵（CE）吃亏函数对提醒偏激对应的推理轨迹 (Cadv) 进行优化，以灵验拿获推理形态。体式化地示意为：

执行

Pos2Distill-R1执行效能：Pos2Distill-R1 进展出鲁棒且⼀致的性能，⽆论⻩⾦⽂档的位置如何，都权贵减少了由位置引起的性能各异。举例，在 WebQ 数据集，Pos2Distill-R1 使 Llama-3-8B 在20个位置上完毕了 56.7%的平均准确率。该性能与 dgold 位于最好“集聚位置”（sink position）时达到的 57.9% 绝顶，这证明从上风到颓势位置的学问转移是告捷的，⽽这恰是 Pos2Distill-R1 的核⼼旨趣。

可解释性效能：由于PB源自于大说话模子的架构与参数，但愿通过分析Pos2Distill-R1的里面动态机制来揭示其作用旨趣并提供可解释性证明。记载当黄金文档从1移动到20时，对20个文档的防卫力分散。Pos2Distill-R1通过动态地将防卫力焦点捏续对王人到相关文档上，从而强化了潦倒文一致性，促进了更为准确的检索。

Pos2Distill-R2执行效能：⽆论是在域内性能如故在域外泛化⽅⾯，Pos2Distill-R2 都超越了现存的⾃我进修⽅法。如表2，在 MusiQue 数据集上进修时，Pos2Distill-R2 完毕了 42.8 的精准匹配（EM）得分，优于统共卓著的基线。此外，本⽅法进展出强⼤的跨鸿沟泛化能⼒；举例，在 HotpotQA 数据集上，它达到了 58.3 的EM 得分，⽽最强的基线模子为50.9。相干效能标明，与传统的逐实例进修相⽐，进修⼤语⾔模子在万般化、分散的⻩⾦⽂档位置上进⾏推理，可能更灵验地增强其⻓潦倒⽂推理能⼒。这⼀洞⻅为普及复杂⻓潦倒⽂任务中的推理能⼒提供了新视⻆。

对于两个系统的商讨：

两个系统都进展出对其互相任务的权贵泛化能⼒。具体⽽⾔，主要为检索任务优化的 Pos2Distill-R1 证明了其增强的潦倒⽂检索能⼒也改善了⻓潦倒⽂推理，在 MusiQue 任务上产⽣了 3.3% 的增⻓。相背，为推理任务优化的 Pos2Distill-R2 标明，其所获取的在⻓潦倒⽂中的推理纯熟度也增强了潦倒⽂感知，从⽽成心于检索性能。

尽管存在这种跨任务泛化，但每个系统在其主要鸿沟都进展超卓：

Pos2Distill-R2 在复杂的⻓潦倒⽂推理任务上取得了更优性能，⽽ Pos2Distill-R1 在这些任务上进展滞后，在检索任务上则反之也是。

这标明缓解位置偏差（PB）存在着不同的底层动态，并可能受到念念维链（CoT）存在或缺失的影响。因此，斥地这两种专⻔化的 Pos2Distill 联想被证明是既必要⼜灵验的。

论文地址：

https://arxiv.org/abs/2508.15709

开源地址：

https://github.com/AMAP-ML/Pos2Distill

— 完 —

量子位 QbitAI · 头条号

关心咱们足球投注app，第一时分获知前沿科技动态