跳到正文
11月10日周二
  1. arXiv · NLP30

    语义距离测试能否预测 LLM 创意能力?锯齿状创意的证据

    首次大规模研究表明,人类创意的语义距离测试无法有效预测 LLM 在写作、多样性等四个维度的创意表现。 研究发现“点创意”与“分布创意”在 LLM 中解离,形成“锯齿状创意”;Remote Associates Test 仅反映通用能力,Divergent Association Task 对创意写作预测效果最佳。 结果提示需谨慎将人类心理测量学测试直接应用于 LLM 创意评估。

  2. arXiv · NLP33

    基于信道编码理论的 LLM 智能体可靠性框架

    该研究提出基于 Shannon 编码理论的 LLM 智能体统一可靠性框架,将重试等技术与六种经典算子对应。 在 MMLU、GSM8K 和 HumanEval 测试中,引入的自适应路由在匹配质量下使成本降低 56%,或降低成本时提升 7% 质量。 该工作被 NeurIPS 2026 接收,支持在固定策略无法占优的场景下优化算力分配。

  3. arXiv · NLP26

    可靠 Chain-of-Thought 前缀一致性方法

    提出“前缀一致性”测试时推理技巧,通过截断并重生成 Chain-of-Thought 轨迹来加权候选答案。 该方法无需访问 token log-probabilities,在五个推理模型和四个基准测试中,以中位 4.6 倍更少的 token 达到多数投票精度。 论文已被 NeurIPS 2026 接收,代码已公开。

  4. arXiv · NLP31

    VHG框架提出验证器支持的数学难题生成

    VHG框架提出验证器支持的数学难题生成,通过三方自玩结合独立验证器,在不定积分和通用数学推理任务中显著优于所有基线方法。 框架约束出题者奖励由问题有效性(验证器评估)和难度(解题者评估)共同决定,并实现了两种验证器变体:硬性符号验证器和软性基于LLM的验证器。 研究被NeurIPS 2026接受,相关代码已开放获取,旨在弥补现有生成方法中因奖励欺骗导致无效难题的问题。

  5. arXiv · NLP39

    扩散 LLM 强化学习:基于熵引导步长选择与逐步优势的方法

    提出一种针对扩散语言模型(DLMs)的无偏策略梯度算法,将去噪轨迹建模为有限时域马尔可夫决策过程,在编码与逻辑推理基准测试中达到最先进水平。 该方法利用熵引导近似界选择策略更新步长,并采用单步去噪奖励估计中间优势,避免了昂贵的多步滚动模拟与序列似然显式计算。

  6. arXiv · NLP36

    通过对数项凸性稳定策略优化

    研究指出监督微调损失关于模型 logit 的凸性是 SFT 训练稳定的关键,而 PPO 缺乏该属性。 作者提出 Logits Convex Optimization (LCO) 框架,通过在 logit 层面模拟凸性效应来优化策略,在多模型族的广泛基准测试中持续优于传统 RL 方法。 该工作已被 NeurIPS 2026 接收。

  7. arXiv · NLP33

    Web World Model:构建基于 Web 代码与 LLM 的持久化交互世界模型

    提出 Web World Model(WWM),在普通 Web 代码中实现世界状态与物理逻辑,由 LLM 生成上下文与高层决策。 WWM 基于现实 Web 技术栈构建,包含无限旅行图谱、星系探索等环境,确立代码规则与模型想象力分离的设计原则。 Web 技术栈本身可作为世界模型的可扩展基底,实现可控且开放的环境探索。

  8. arXiv · NLP28

    LLM 中的锚定偏差:行为与归因证据研究

    研究通过 log-probability 分析和 Banzhaf 值归因,在 6 个开源模型中验证了 LLM 的锚定偏差。Gemma-2B、Phi-2 和 Llama-2-7B 的锚定偏差敏感性得分(ABSS)最高。 该方法结合行为科学与可解释 AI,揭示了 LLM 作为合成参与者时的可靠性风险及数值提示的潜在漏洞。

  9. arXiv · NLP30

    SPRING:基于求解器引导的过程奖励提升逻辑推理

    SPRING提出利用SMT求解器对中间推理步骤进行验证,通过过程级监督提升大语言模型的逻辑推理能力。 该方法鼓励新颖的推理进展,惩罚矛盾和非信息性步骤,在ZebraLogic、AR-LSAT和Knights and Knaves三个基准上超越基线模型。 该工作已被NeurIPS 2026接收,展示了过程奖励在提升逻辑推理性能上的有效性。

  10. arXiv · NLP28

    利用扰动强度增强 LLM 解释自我一致性评估

    提出一种 LLM-as-a-judge 方法,统一测量输入和 CoT 扰动强度,以公平评估 LLM 解释的自我一致性。 实验表明该 LLM 基测量方法优于嵌入和概率基方法,且输入扰动通常比 CoT 扰动影响更强。 研究建议在相同扰动类型内判断模型自我一致性,该工作已被 ALTA 2026 接收。

  11. arXiv · NLP20

    大型语言模型激活状态因果转移的架构依赖性研究

    研究验证大型语言模型间内部激活状态因果转移并非普遍存在,而是具有架构依赖性。 使用 Qwen2-0.5B、Phi-3-mini、Mistral-7B 和 FLAN-T5-base 测试,仅在 Qwen2 到 Phi-3 路径中观察到统计显著的因果效应。 结果揭示当前端到端激活状态转移主要传递表征载体而非语义意义,为跨模型通信机制划定技术边界。

  12. arXiv · NLP37

    内省耦合:固定监督下的语言模型自我解释追踪行为变化

    研究发现,利用早期检查点或行为相似模型生成的固定反事实解释训练语言模型,其生成的解释往往比训练目标更忠实地反映模型当前的真实行为。 这种“内省耦合”现象在解释与当前行为保持相关时发生,即便行为发生转变,解释也会随之调整,且对标签噪声具有鲁棒性。

  13. arXiv · NLP26

    连续语言扩散模型中简易读出的局限性

    简易读出在生成的ELF和AURORA状态下,仅通过token级仿射映射可分别恢复97.17%和95.74%的原生词汇决策。 其余分歧源于上下文计算已产生状态,仅终端读出被简化。在条件摘要任务中,稀有词优先能提高参考相似度,但源一致性仍未解决。 结果显示,可重复的修复效果不保证预测迁移,且全部原生解码得分更高,加速效果尚未证实。

  14. arXiv · NLP33

    SaliMory:面向对话智能体认知记忆编排的新框架

    SaliMory 提出一种管理认知结构化记忆的框架,解决简单扩展上下文导致的推理质量下降及标准强化学习中的信用分配瓶颈。 该框架引入阶段性过程奖励和奖励分解对比优化,为选择性过滤、巩固和提示驱动召回等操作提供独立的端到端监督。 在四个数据集上,SaliMory 创下 39.8% 的最佳个性化率和 72.9% 的最高问答准确率,同时保持模糊度低于 20%、事实性高于 89%。

  15. arXiv · NLP24

    基于提示引导的多样化策略优化提升LLM推理

    针对现有可验证奖励强化学习缺乏多样化信号的问题,研究者提出了提示引导的多样化策略优化(HDPO)框架。 HDPO采用两阶段方法,通过“提出-选择-思考”的轨迹引导模型生成并筛选多样化解决方案。 实验结果证明,该方法能有效提升大语言模型的推理能力和候选方案多样性。

  16. arXiv · NLP35

    语言模型确认偏误评估与缓解

    研究发现大语言模型(LLM)表现出确认偏误,倾向寻找支持而非反驳假设的证据,导致规则发现率降低。 通过提示模型考虑反例,平均规则发现率从 42% 提升至 56%;知识蒸馏该干预行为可泛化至新领域,如数学自我纠错。

  17. arXiv · NLP25

    基于序列蒙特卡洛的语言模型集成框架

    研究将语言模型集成转化为推理问题,提出基于序列蒙特卡洛(SMC)的近似推断方案,并在共享字节空间采样以支持词汇表不匹配的模型。 框架通过宽泛的聚合函数参数化统一集成分布,实验表明共识导向策略如乘积优于概率平均,且更优的后验近似能提升集成性能。 该成果已作为最终版本发表于 NeurIPS 2026。

  18. arXiv · NLP33

    BFS-PO: 用于大型推理模型的最佳优先搜索强化学习算法

    提出一种名为 BFS-PO 的强化学习算法,用于解决大型推理模型在长思维链推理中产生的“过度思考”现象,该算法在提升模型精度的同时缩短了推理链长度。 BFS-PO 采用最佳优先搜索探索策略,将训练时生成的推理链组织为搜索树,并通过基于最大熵节点的回溯机制选择最短正确序列进行扩展。 该工作已被 NeurIPS 2026 接收,证明了在多个基准测试和基础 LRM 上可同时实现精度提升与答案简洁化。

  19. arXiv · NLP21

    提出 ComprExIT:基于显式信息传输的上下文压缩框架

    针对长上下文 LLM 智能体成本高问题,提出 ComprExIT 框架。该框架通过跨层特征自适应选择和全局协调传输计划解决压缩瓶颈。 实验在 12 个数据集上显示,ComprExIT 相比强软压缩基线平均 F1 提升达 18.5%。新增可训练参数仅约 1%,压缩速度最快达到基线的 2 倍以上。 代码将在论文录用后开源。

  20. arXiv · NLP25

    HAPS: 联合架构与参数搜索的层级 LLM 路由框架

    HAPS 框架通过联合搜索 LLM 架构与 LoRA 参数,在推理和知识密集型基准上持续优于强路由基线。该层级结构由高层路由器选择架构,低层路由器生成输入条件 LoRA 参数,两者共享提示词表示并通过强化学习优化。此研究已被 NeurIPS 2026 接收,代码已开源。

  21. arXiv · NLP29

    Archer:一种用于RLVR的双重Token约束框架

    提出Archer,一种感知熵的RLVR框架,通过双重Token约束在保持联合优化的同时调节不同类型Token的更新强度。 该方法引入响应级熵归一化以稳定Token分类,并对推理Token和知识Token应用差异化的Clipping范围和KL正则化,以鼓励探索并保留知识。

  22. arXiv · NLP30

    多轮临床智能体安全强化学习:密集奖励为何优于结果奖励

    研究发现,仅依赖最终结果奖励训练多轮临床智能体会导致过早决策和高风险案例失败,而分配密集过程信用能提升保留价值并降低崩溃率。 分离探索与利用虽提高高风险案例支持,但会导致低急性度案例信息收集过度,且强化学习无法修复由偏差数据继承的行为缺口。 这证实可验证结果不足以训练可靠智能体,奖励设计必须考虑获取答案的过程。

  23. arXiv · NLP33

    TrialDesignBench 评测 LLM 的 I 期试验设计能力

    TrialDesignBench 包含 617 个 I/I-II 期肿瘤剂量探索试验,评测显示 5 个前沿 LLM 均未达到专家参考标准。 消融实验显示,提供未记录的潜在设计决定因素可使类平衡准确率提升 0.22,结构化决策树推理提升 0.24。 该基准为 AI 辅助试验设计提供了符合最新 FDA 监管标准(如 Project Optimus)的可复现评估目标。

  24. arXiv · NLP33

    混合注意力语言模型的 KV Cache 转换:MLA 隐向量、线性注意力状态与稀疏注意力索引器

    研究展示了混合注意力模型的 KV Cache 转换技术,避免重新阅读历史。在 Kimi-VL-A3B 与 Kimi-Linear-48B 等 16-48B 模型对中,线性映射使 MLA 隐向量转换达到原生质量,首次 token 时间缩短 18.7-46.8 倍。 长程召回从 0.09 提升至 0.99,GDN 混合双向可达原生水平,为 300B+ 旗舰模型提出假设路径。