跳到正文
11月5日周四
  1. arXiv · AI25

    Split-KV:训练扩散起草器的高效上下文并行方法

    Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。

  2. arXiv · AI27

    RECAP:用于多模态投机解码的上下文感知预测回收与请求本地及持久记忆

    论文提出 RECAP 方法,通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权,为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上,RECAP 相对自回归解码平均加速 1.66×/1.56×,超过最强无训练基线 Token Recycling 的 1.51×/1.37×;代码已开源。

  3. arXiv · AI21

    基于 Petri 网与个体 Token 哲学的因果模型:从类型到个体的转变

    文章提出 Petri 网结合 Individual Token Philosophy 是表示 token-level 因果结构的自然框架,解决处理效应无界异质性下传统估计量失效问题。 构建了从 Bayesian Networks 到 Petri Nets 的形式化翻译,提供不依赖分布假设的结构表示;引入 conformal prediction 层量化因果效应,具备有限样本覆盖保证。

  4. arXiv · NLP28

    仅检查最终检查点并不足够:分析训练轨迹中潜在推理的可信度

    潜在推理模型在准确性提升的同时,对改变推理路径的反事实编辑敏感度反而降低,且不同方法轨迹各异。 研究者利用 verified counterfactual edits 发现 ProsQA 和 GSM8K 中干预敏感度呈对立趋势,并通过调整训练程序改善响应性。 仅评估最终检查点会掩盖可信度变化及潜在状态的真实贡献。

  5. arXiv · NLP41

    vOPD:引入控制变量基线稳定大语言模型在线策略蒸馏

    研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。

  6. arXiv · NLP38

    Integrated Policy Gradient:通过结果导向归因追踪 LLM 推理机制

    提出免训练框架 Integrated Policy Gradient (IPG),将策略归因引入 LLM 推理的机制可解释性研究,通过路径积分隔离结果相关的内部组件,提供因果中介分析的线性近似。 实验表明 IPG 能精确定位与特定推理行为相关的稀疏、集中内部组件子集,并实现推理能力的调制,为理解 LLM 推理提供了可靠框架,已被 NeurIPS 2026 接收。

  7. arXiv · NLP33

    MD-ProTector:通过多原型定位增强 LLM 生成文本检测

    提出 MD-ProTector 方法,在编码器嵌入空间使用多个可训练参考向量(原型)表示类别,以提升 LLM 生成文本检测对多样化写作风格与生成模型的鲁棒性。 该方法引入 Prototype Positioning 损失函数,将类级结构与类内差异解耦,使不同原型分别界定同一类别内不同文本子群的决策边界。

  8. arXiv · NLP28

    LLM 中的人格-情境-行为三元组:从表征到行为的研究

    研究提出 LLM 人格三元组框架,利用 SAE 分解识别稀疏内部特征并验证其人格相关性。 通过特征级干预,在多种情境中诱导双向人格转变,并在社会智能任务中证实了行为改变与人类研究一致。 研究提供了 LLM 存在可控制的人格相关表征,连接内部状态、情境表达和行为结果的证据。

  9. arXiv · NLP27

    SpanUQ: 面向大语言模型生成的跨粒度不确定性量化

    论文提出SpanUQ探针,通过蒸馏多次推理的不确定性知识,仅需单次前向传播即可在语义连贯的文本跨度(span)层级量化LLM生成不确定性。 该方法采用DETR式解码器与Beta混合分布,在20K提示词和293K标注跨度的SpanUQ-Bench基准上,F1分数达0.910,比最强启发式基线高39.4%,且比采样法快10~20倍。

  10. arXiv · NLP35

    让扩散模型学会从左到右预测:Speculative Decoding 训练干预分析

    提出三种训练时干预弥合扩散草稿模型双向生成与 LLM 自回归校验的错位,提升推测解码性能。 干预包括 token 位置加权、首个错误 focal loss 及链式损失项,三者正交且可加性组合,无需增加前向传播。 在四个目标模型及六个推理、代码、对话基准测试中,接受草稿长度相比基线提升 21-76%。

  11. arXiv · NLP27

    D-RPC:通过推理空间压缩实现结构化理由蒸馏

    研究提出 D-RPC 方法,通过约束教师模型遵循动态维护的高层推理路径库,解决蒸馏中教师理由结构不一致导致的噪声监督问题,在五个基准测试中取得最高平均准确率。 方法引入 PAC-Bayes 分析以量化推理路径库大小与覆盖率之间的权衡,消融实验显示中间大小的库效果最佳。

  12. arXiv · NLP25

    LLM 中任务难度与表示稀疏性的关系分析

    LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势,证实“任务越难,表示越稀疏”的统计规律。 研究通过控制实验发现表示密度是习得属性,熟悉模式对应分布式表示,陌生输入则趋于稀疏激活。 基于此提出 Sparsity-Guided Curriculum In-Context Learning (SG-ICL),在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。

  13. arXiv · NLP29

    Steer2Edit:从激活转向到组件级编辑

    Steer2Edit 提出一种无训练框架,将转向向量转化为组件级秩 1 权重编辑,在匹配下游性能时提升安全性最多 17.2%。 该框架选择性重分配注意力头和 MLP 神经元的行为影响,保留标准前向传播并兼容并行推理,用于安全对齐、幻觉缓解及推理效率优化。

  14. arXiv · NLP29

    LLM 稀疏奖励子系统:价值神经元与多巴胺神经元如何编码奖励信息

    研究发现 LLM 隐藏状态中奖励信息集中于稀疏神经元子集,形成价值神经元(预测状态价值)和多巴胺神经元(编码时序差分误差)两类单元。该子系统具有跨数据集和模型的鲁棒性与可迁移性,因果证据证实其编码奖励相关信息。价值神经元可作为模型置信度预测器,多巴胺神经元能作为过程奖励模型(PRM)引导推理时搜索。

  15. arXiv · NLP29

    多轮强化学习如何真正提升 LLM 智能体表现?

    研究显示多轮强化学习(RL)在 LLM 智能体上的增益高度依赖交互预算,当轮数预算收紧时轨迹级优势会显著减弱。其核心优势集中于错误恢复与长程韧性,而非均匀提升单步决策质量。 针对部署风险,论文提出 BudgetMix RL 作为替代方案,在训练中动态调整交互预算。实验表明该方法能在多种执行设置下保持稳健性能。

  16. arXiv · NLP36

    路由推理:阅读与重塑 MoE 模型测试时算力

    研究者发现 Mixture-of-Experts (MoE) 路由器能作为无需训练的接口控制推理行为,通过编辑路由器分数可避免模型“过度思考”。 该干预使生成 token 数量中位数减少 30.4%,最高达 63.3%,且准确率下降不超过 0.5 个百分点,甚至常有所提升。 这为优化测试时算力提供了轻量级机制,使模型在解题后及时停止而非跳过必要步骤。

  17. arXiv · NLP38

    FinDendro 基准揭示大语言模型金融回测中的时间自认知偏差

    研究提出 FinDendro 基准,包含 1999 至 2026 年间 2226 条带日期的美国金融事实,用于验证模型知识截止日的可靠性。 测试显示 GPT-5 在受控事实上正确率达 76%,但仅自报知晓 38%;知识主张可超出实际边界多达七个季度。 研究发现无法通过自报、指令或名义截止日认证回测无泄露,主张采用行为测量法确定回测时段。

  18. arXiv · NLP28

    当所有选择都正确:大语言模型数值偏好的因果研究

    研究利用 1-30 间的数值选择考察语言模型偏好,在 Qwen3-4B 中通过扰动探测发现前答案编辑可使输出从 17 变为 15。 梯度归因与注意力输出替换显示,后续计算改变了局部贡献的下游影响,使 7 与 5 的对数几率差从 0.119 降至 0.0025 nat。 该研究将数值选择作为受控案例,揭示了持续状态的条件性下游处理机制。

  19. arXiv · NLP31

    推理时专家停用中匹配训练时权重规则

    研究人员发现,推理时停用专家的性能影响取决于是否匹配训练时的权重规则。在五个指令微调检查点和一个基础 OLMoE 检查点上,停用半数专家时,规则匹配下困惑度为基线的 1.4 到 73 倍,而规则不匹配时高达 14 到 28,740 倍。 在 OLMoE 上,GSM8K 严格匹配准确率在所有四种停用实现中均降至零。

11月4日周三
  1. arXiv · NLP29

    提出 Latent-Condensed Attention (LCA) 用于高效长上下文建模

    研究者提出 Latent-Condensed Attention (LCA) 以优化长上下文处理,在 128K 上下文下实现 2.5× prefilling 加速和 90% KV cache 压缩。 LCA 基于 MLA 潜在空间,通过语义向量聚合与位置键保留降低计算成本且不增加参数,并证明了长度无关误差界。 该方法已被 ACL 2026 接收,展示了在保持竞争性性能同时显著提升效率的能力。

  2. arXiv · NLP40

    PersonaFuse:一种情境感知的大模型行为自适应后训练框架

    PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。

  3. arXiv · NLP29

    MDSKILL: 通过多视角蒸馏内化技能记忆以实现高效的动态智能体自进化

    MDSKILL 提出一种多视角技能记忆蒸馏方法,将记忆组织为状态定位、行动规划、执行控制三个互补视图,并在 ALFWorld 和 WebShop 基准上较 SOTA 性能提升最高 7.1% 和 8.1%。 该方法无需额外计算开销,通过动态指标筛选高质量技能,构建视图特定及集成推理分支,经 On-Policy Self-Distillation 将互补经验知识整合至共享策略。 代码已开源。

  4. arXiv · NLP23

    基于条件互信息的大语言模型响应多样性分析

    大语言模型在推理生成时提供多种响应,传统上依赖温度参数。本文利用条件互信息方法,给出了基于熵的响应多样性定量分析。 定义了仲裁者、独立(条件)和中性(确定性)三种极限行为,涵盖了从零到最大互信息的范围。 该方法被应用于温度分析、语言分析、提示词压缩和知识图谱。