跳到正文
11月5日周四
  1. arXiv · AI21

    基于闭环刺激的LLM控制:分布外鲁棒性研究

    研究者将LLM引导视为反馈控制问题,提出基于H_∞的鲁棒引导控制器以应对非线性动态与线性化失配。 该控制器在多个基准测试中优于现有基线,尤其在分布外条件和不同长度复杂性下表现显著。研究还引入鲁棒可引导性指标S_rob,用于量化系统对动态失配的容忍度。

  2. arXiv · AI20

    LLM 智能体在零样本协同任务中的表现与改进方法

    研究发现前沿 LLM 智能体在简单环境下的零样本协同任务中表现不佳,主要源于对协同问题的理解有限及推理能力弱。 尽管 LLM 引入了语义信息作为协同维度,但未能有效利用该结构。研究者提出了协同友好定义(CFDs)作为改进方案,并证明其可被自动发现。 该成果作为海报报告被 NeurIPS 2026 接收,并入选 ICLR 26 MALGAI Workshop 口头报告。

  3. arXiv · AI26

    Traffic-VL:用于可泛化端到端交通信号控制的强化视觉语言模型

    Traffic-VL 是一款 80 亿参数的视觉语言模型,通过直接映射多视角图像和自然语言相位描述生成信号决策,实现了端到端交通控制。 基于 SynTra-V 数据集,模型采用离线强化学习适配视觉编码器,并在闭环模拟中进行在线策略优化,性能超越 Gemini 3 Pro 等通用模型。 该模型在十路口为期三周的部署中证明了其视觉泛化能力和有效约束控制。

  4. arXiv · AI25

    可读性与可控性的分离:学习流体表征中物理结构的预注册测试

    预注册测试表明,JEPA 未能使潜空间更好地组织流体力学量,其表现与未训练网络相当。 自编码器使涡动能在慢速无监督潜空间中显著(r 0.80-0.86 vs 0.38),但添加 VICReg 会降低该显著性。 研究揭示潜空间内容可读性与其可控性相分离,监督方向在受控时几乎无法改变输出。

  5. arXiv · AI26

    基于回合级 Best-of-N 采样扩展 LLM 智能体性能

    论文提出一种基于回合级 Best-of-N 采样的推理扩展方法,用于 LLM 智能体。该方法采用“生成器-选择器”框架,在每轮生成 N 个候选动作并由选择器模型选取其一执行。 在长时程终端任务实验中,该方法使准确率提升 5–10%,并显著提高了重复尝试的一致性。轨迹分析显示,智能体行为向更优模式转变,如减少尝试次数、改善指令遵循及调试测试能力。

  6. arXiv · AI25

    Split-KV:训练扩散起草器的高效上下文并行方法

    Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。

  7. arXiv · AI27

    RECAP:用于多模态投机解码的上下文感知预测回收与请求本地及持久记忆

    论文提出 RECAP 方法,通过 1/2/3-token 键存储和请求本地/跨请求持久记忆结合上下文感知的熵置信度加权,为多模态模型训练自由地提供投机解码候选。 在 Qwen2.5-VL-7B 和 LLaVA-1.6-7B 的 7 个单轮基准上,RECAP 相对自回归解码平均加速 1.66×/1.56×,超过最强无训练基线 Token Recycling 的 1.51×/1.37×;代码已开源。

  8. arXiv · AI21

    基于 Petri 网与个体 Token 哲学的因果模型:从类型到个体的转变

    文章提出 Petri 网结合 Individual Token Philosophy 是表示 token-level 因果结构的自然框架,解决处理效应无界异质性下传统估计量失效问题。 构建了从 Bayesian Networks 到 Petri Nets 的形式化翻译,提供不依赖分布假设的结构表示;引入 conformal prediction 层量化因果效应,具备有限样本覆盖保证。

  9. arXiv · NLP28

    仅检查最终检查点并不足够:分析训练轨迹中潜在推理的可信度

    潜在推理模型在准确性提升的同时,对改变推理路径的反事实编辑敏感度反而降低,且不同方法轨迹各异。 研究者利用 verified counterfactual edits 发现 ProsQA 和 GSM8K 中干预敏感度呈对立趋势,并通过调整训练程序改善响应性。 仅评估最终检查点会掩盖可信度变化及潜在状态的真实贡献。

  10. arXiv · NLP41

    vOPD:引入控制变量基线稳定大语言模型在线策略蒸馏

    研究提出vOPD,将在线策略蒸馏(OPD)视为策略梯度强化学习,引入价值函数作为控制变量基线以降低梯度方差。 该方法利用闭式解的逐token反向KL散度作为基线,无需额外critic或推理,保持单样本估计器轻量且无偏。 在数学、科学及指令遵循基准测试中,vOPD性能优于基础OPD,且与高成本全词表方法持平。

  11. arXiv · NLP38

    Integrated Policy Gradient:通过结果导向归因追踪 LLM 推理机制

    提出免训练框架 Integrated Policy Gradient (IPG),将策略归因引入 LLM 推理的机制可解释性研究,通过路径积分隔离结果相关的内部组件,提供因果中介分析的线性近似。 实验表明 IPG 能精确定位与特定推理行为相关的稀疏、集中内部组件子集,并实现推理能力的调制,为理解 LLM 推理提供了可靠框架,已被 NeurIPS 2026 接收。

  12. arXiv · NLP33

    MD-ProTector:通过多原型定位增强 LLM 生成文本检测

    提出 MD-ProTector 方法,在编码器嵌入空间使用多个可训练参考向量(原型)表示类别,以提升 LLM 生成文本检测对多样化写作风格与生成模型的鲁棒性。 该方法引入 Prototype Positioning 损失函数,将类级结构与类内差异解耦,使不同原型分别界定同一类别内不同文本子群的决策边界。

  13. arXiv · NLP28

    LLM 中的人格-情境-行为三元组:从表征到行为的研究

    研究提出 LLM 人格三元组框架,利用 SAE 分解识别稀疏内部特征并验证其人格相关性。 通过特征级干预,在多种情境中诱导双向人格转变,并在社会智能任务中证实了行为改变与人类研究一致。 研究提供了 LLM 存在可控制的人格相关表征,连接内部状态、情境表达和行为结果的证据。

  14. arXiv · NLP27

    SpanUQ: 面向大语言模型生成的跨粒度不确定性量化

    论文提出SpanUQ探针,通过蒸馏多次推理的不确定性知识,仅需单次前向传播即可在语义连贯的文本跨度(span)层级量化LLM生成不确定性。 该方法采用DETR式解码器与Beta混合分布,在20K提示词和293K标注跨度的SpanUQ-Bench基准上,F1分数达0.910,比最强启发式基线高39.4%,且比采样法快10~20倍。

  15. arXiv · NLP35

    让扩散模型学会从左到右预测:Speculative Decoding 训练干预分析

    提出三种训练时干预弥合扩散草稿模型双向生成与 LLM 自回归校验的错位,提升推测解码性能。 干预包括 token 位置加权、首个错误 focal loss 及链式损失项,三者正交且可加性组合,无需增加前向传播。 在四个目标模型及六个推理、代码、对话基准测试中,接受草稿长度相比基线提升 21-76%。

  16. arXiv · NLP27

    D-RPC:通过推理空间压缩实现结构化理由蒸馏

    研究提出 D-RPC 方法,通过约束教师模型遵循动态维护的高层推理路径库,解决蒸馏中教师理由结构不一致导致的噪声监督问题,在五个基准测试中取得最高平均准确率。 方法引入 PAC-Bayes 分析以量化推理路径库大小与覆盖率之间的权衡,消融实验显示中间大小的库效果最佳。

  17. arXiv · NLP25

    LLM 中任务难度与表示稀疏性的关系分析

    LLM 最后隐藏状态随任务难度增加呈现系统性稀疏化趋势,证实“任务越难,表示越稀疏”的统计规律。 研究通过控制实验发现表示密度是习得属性,熟悉模式对应分布式表示,陌生输入则趋于稀疏激活。 基于此提出 Sparsity-Guided Curriculum In-Context Learning (SG-ICL),在 MATH-500 上优于标准 CoT 和 Auto-CoT 基线。

  18. arXiv · NLP29

    Steer2Edit:从激活转向到组件级编辑

    Steer2Edit 提出一种无训练框架,将转向向量转化为组件级秩 1 权重编辑,在匹配下游性能时提升安全性最多 17.2%。 该框架选择性重分配注意力头和 MLP 神经元的行为影响,保留标准前向传播并兼容并行推理,用于安全对齐、幻觉缓解及推理效率优化。

  19. arXiv · NLP29

    LLM 稀疏奖励子系统:价值神经元与多巴胺神经元如何编码奖励信息

    研究发现 LLM 隐藏状态中奖励信息集中于稀疏神经元子集,形成价值神经元(预测状态价值)和多巴胺神经元(编码时序差分误差)两类单元。该子系统具有跨数据集和模型的鲁棒性与可迁移性,因果证据证实其编码奖励相关信息。价值神经元可作为模型置信度预测器,多巴胺神经元能作为过程奖励模型(PRM)引导推理时搜索。

  20. arXiv · NLP29

    多轮强化学习如何真正提升 LLM 智能体表现?

    研究显示多轮强化学习(RL)在 LLM 智能体上的增益高度依赖交互预算,当轮数预算收紧时轨迹级优势会显著减弱。其核心优势集中于错误恢复与长程韧性,而非均匀提升单步决策质量。 针对部署风险,论文提出 BudgetMix RL 作为替代方案,在训练中动态调整交互预算。实验表明该方法能在多种执行设置下保持稳健性能。

  21. arXiv · NLP36

    路由推理:阅读与重塑 MoE 模型测试时算力

    研究者发现 Mixture-of-Experts (MoE) 路由器能作为无需训练的接口控制推理行为,通过编辑路由器分数可避免模型“过度思考”。 该干预使生成 token 数量中位数减少 30.4%,最高达 63.3%,且准确率下降不超过 0.5 个百分点,甚至常有所提升。 这为优化测试时算力提供了轻量级机制,使模型在解题后及时停止而非跳过必要步骤。

  22. arXiv · NLP38

    FinDendro 基准揭示大语言模型金融回测中的时间自认知偏差

    研究提出 FinDendro 基准,包含 1999 至 2026 年间 2226 条带日期的美国金融事实,用于验证模型知识截止日的可靠性。 测试显示 GPT-5 在受控事实上正确率达 76%,但仅自报知晓 38%;知识主张可超出实际边界多达七个季度。 研究发现无法通过自报、指令或名义截止日认证回测无泄露,主张采用行为测量法确定回测时段。

  23. arXiv · NLP28

    当所有选择都正确:大语言模型数值偏好的因果研究

    研究利用 1-30 间的数值选择考察语言模型偏好,在 Qwen3-4B 中通过扰动探测发现前答案编辑可使输出从 17 变为 15。 梯度归因与注意力输出替换显示,后续计算改变了局部贡献的下游影响,使 7 与 5 的对数几率差从 0.119 降至 0.0025 nat。 该研究将数值选择作为受控案例,揭示了持续状态的条件性下游处理机制。