跳到正文
11月10日周二
  1. arXiv · NLP40

    LLMs 作为自适应元求解器:面向工业级优化的策略多样化强化学习

    提出策略多样化强化学习(SDRL)框架,训练开源 LLM 解决工业级优化问题。 该框架通过正确性门控的层级多样性奖励防止策略坍缩,支持自包含文本与文件基实例混合训练。 在工业级优化任务上,SDRL 的平均性能优于 DeepSeek-V4-Pro 和 GPT-5.5,代码与数据已开源。

  2. arXiv · NLP25

    PoEM:利用现有策略预测强化学习结果

    PoEM框架提出无需重新训练即可预测新奖励函数下的RL策略结果,利用已有策略在log-probability空间的低秩子空间特性进行线性组合近似。 该算法仅需基于奖励或基策略在样本上的输出估计组合权重,在开放式生成、数学推理、工具调用及图像生成任务中验证了预测有效性与计算效率优势。

  3. arXiv · NLP20

    边际效用、矩阵分解与 KV 缓存:一个用于主权地理挖掘推理的统一信息经济学框架

    建立联系边际效用、矩阵分解与 Transformer 语言模型 Key-Value 缓存的理论框架,在地理挖掘文档信息提取中,11.2M 参数分类器实现 90% 一级准确率。 该框架通过统一分配规则优化内存预算下的缓存管理,支持分层 TIES 模型合并与 LoRA 微调,诊断出均匀密度合并导致的退化解,需校准密度消除。

  4. arXiv · NLP29

    Animation2Code 基准测试:评估视频到代码生成的时序视觉推理能力

    研究团队发布 Animation2Code 基准测试,旨在评估视觉语言模型(VLMs)在视频到代码生成任务中的时序视觉推理能力。该基准包含 1,069 个网页动画视频及其对应的 HTML/CSS/JavaScript 实现,并提出了外观相似度和时序相似度两项指标。测试显示,当前最先进的 VLMs 在重建时难以保持时序一致性,即使外观相似度较高,且在微调和迭代优化设置下表现依然受限。

  5. arXiv · NLP49

    研究揭示大语言模型按Token计费存在信任悖论,服务商可系统性地虚报Token数量

    研究指出大语言模型按Token计费难以审计,服务商能利用信任悖论系统性虚报Token数量。 在最宽松设定下,隐藏推理Token使用量平均可被虚报1469%而不被发现,导致100美元账单变为1569美元;即使用户可见完整推理,分词歧义仍允许50.85%的超额报告。 该问题源于审计证据由被审计方控制,需通过可信执行证明或第三方重执行等独立验证机制恢复计费诚信。

  6. arXiv · NLP28

    代码RL中权重外推下的正确性与效率行为控制

    研究发现,在代码RL中通过权重空间外推可同时放大或抑制不期望行为,揭示了正确性与效率的边界。 实验在32B和7B模型规模下进行,涵盖纯推理、工具使用及代理编码场景。 该方法为利用松散奖励及权重差异向量来抑制奖励作弊行为提供了简单干预方案。

  7. arXiv · NLP29

    潜空间视觉推理瓶颈:数据信息不足与生成偏离

    研究发现模型在潜空间视觉推理中忽略连续潜 token,因其替换为无信息占位符后准确率不受影响。 分析表明现有数据中 oracle 潜 token 缺乏额外信息,且推理时生成的 token 偏离 oracle 表征,导致无法获益。 未来突破需依赖具备高信息量中间步骤的数据集及更精确的潜 token 预测方法。

  8. arXiv · NLP33

    基于信道编码理论的 LLM 智能体可靠性框架

    该研究提出基于 Shannon 编码理论的 LLM 智能体统一可靠性框架,将重试等技术与六种经典算子对应。 在 MMLU、GSM8K 和 HumanEval 测试中,引入的自适应路由在匹配质量下使成本降低 56%,或降低成本时提升 7% 质量。 该工作被 NeurIPS 2026 接收,支持在固定策略无法占优的场景下优化算力分配。

  9. arXiv · NLP26

    可靠 Chain-of-Thought 前缀一致性方法

    提出“前缀一致性”测试时推理技巧,通过截断并重生成 Chain-of-Thought 轨迹来加权候选答案。 该方法无需访问 token log-probabilities,在五个推理模型和四个基准测试中,以中位 4.6 倍更少的 token 达到多数投票精度。 论文已被 NeurIPS 2026 接收,代码已公开。

  10. arXiv · NLP31

    VHG框架提出验证器支持的数学难题生成

    VHG框架提出验证器支持的数学难题生成,通过三方自玩结合独立验证器,在不定积分和通用数学推理任务中显著优于所有基线方法。 框架约束出题者奖励由问题有效性(验证器评估)和难度(解题者评估)共同决定,并实现了两种验证器变体:硬性符号验证器和软性基于LLM的验证器。 研究被NeurIPS 2026接受,相关代码已开放获取,旨在弥补现有生成方法中因奖励欺骗导致无效难题的问题。

  11. arXiv · NLP29

    Focus Matters: Attention-Value Dynamics for Efficient Hallucination Mitigation in Vision-Language Models

    针对大型视觉语言模型(LVLMs)的对象幻觉问题,研究提出基于注意力-值动态的免训练推理时干预方法。 该方法识别出视觉处理中的“聚焦”阶段,通过替换低注意力 token 的值向量来减少幻觉,同时保留真实物体证据。 实验表明该方法几乎不增加额外运行时开销,且能与现有推理时缓解方法兼容。

  12. arXiv · NLP28

    TabDLM:基于联合数值-语言扩散的自由格式表格数据生成

    TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。

  13. arXiv · NLP29

    ChartHal:评估大视觉语言模型图表理解中幻觉的细粒度框架

    ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。

  14. arXiv · NLP30

    SPRING:基于求解器引导的过程奖励提升逻辑推理

    SPRING提出利用SMT求解器对中间推理步骤进行验证,通过过程级监督提升大语言模型的逻辑推理能力。 该方法鼓励新颖的推理进展,惩罚矛盾和非信息性步骤,在ZebraLogic、AR-LSAT和Knights and Knaves三个基准上超越基线模型。 该工作已被NeurIPS 2026接收,展示了过程奖励在提升逻辑推理性能上的有效性。

  15. arXiv · NLP28

    利用扰动强度增强 LLM 解释自我一致性评估

    提出一种 LLM-as-a-judge 方法,统一测量输入和 CoT 扰动强度,以公平评估 LLM 解释的自我一致性。 实验表明该 LLM 基测量方法优于嵌入和概率基方法,且输入扰动通常比 CoT 扰动影响更强。 研究建议在相同扰动类型内判断模型自我一致性,该工作已被 ALTA 2026 接收。

  16. arXiv · NLP33

    PACE-dLLM:基于置信度悬崖估计的扩散语言模型弹性块解码

    研究提出 PACE-dLLM 方法,通过周期性重新拟合置信度悬崖来动态调整解码视界,支持 LLaDA 和 Dream 等扩散语言模型并行解码。 该方法在推理和代码基准测试中取得最优平均准确率,LLaDA 吞吐量提升 5.23 倍,Dream 提升 3.06 倍。 此成果已被 NeurIPS 2026 接收,推进了扩散语言模型在质量与吞吐量之间的帕累托前沿。

  17. arXiv · NLP28

    ScienceIDE 将全球科学代码库转化为 Agent 可学习环境

    团队提出 ScienceIDE 基础设施,将科学代码仓库转化为支持任务生成与验证的可执行环境,以解决科学经验瓶颈。 基于该环境中的验证交互轨迹,团队训练了 PhAI-IDE-72B/9B/4B 模型族。这些模型在科学代码修复及通用代码、推理和知识基准测试中表现提升,证明科学经验可正向迁移至更广泛能力。

  18. arXiv · NLP20

    大型语言模型激活状态因果转移的架构依赖性研究

    研究验证大型语言模型间内部激活状态因果转移并非普遍存在,而是具有架构依赖性。 使用 Qwen2-0.5B、Phi-3-mini、Mistral-7B 和 FLAN-T5-base 测试,仅在 Qwen2 到 Phi-3 路径中观察到统计显著的因果效应。 结果揭示当前端到端激活状态转移主要传递表征载体而非语义意义,为跨模型通信机制划定技术边界。

  19. arXiv · NLP37

    内省耦合:固定监督下的语言模型自我解释追踪行为变化

    研究发现,利用早期检查点或行为相似模型生成的固定反事实解释训练语言模型,其生成的解释往往比训练目标更忠实地反映模型当前的真实行为。 这种“内省耦合”现象在解释与当前行为保持相关时发生,即便行为发生转变,解释也会随之调整,且对标签噪声具有鲁棒性。

  20. arXiv · NLP27

    对比差异 CKA 揭示语言模型架构间概念特定的结构对齐

    研究者利用对比差异居中核对齐 CKAΔ 分析语言模型概念编码。在四个检查点和八个人格特质上,固定最终层分析显示同特质 CKAΔ 均值为 0.7259,跨特质为 0.6828。 标签随机化检验显示 p 值为 1/10001,但加权 95% 区间 [-0.0330, 0.1017] 限制了广义结论。 结果支持概念特定结构和留一线性可恢复性的范围诊断,未确立通用不变性。

  21. arXiv · NLP25

    LLMs 通过优化提示词更好地捕捉人类判断

    研究发现 LLMs 在捕捉人类判断上存在局限,但简单的提示策略能显著缓解这些问题,提升 AI-人类对齐度。 研究在 144 个道德场景和 38 条道德信念数据集上验证,让模型报告标准差和响应比例比常用策略能更好地恢复人类响应的完整范围。 结果还表明,模型对清晰场景的追踪能力与人类混淆评分相关,而模型置信度评分能较好预测人类变异性。

  22. arXiv · NLP26

    连续语言扩散模型中简易读出的局限性

    简易读出在生成的ELF和AURORA状态下,仅通过token级仿射映射可分别恢复97.17%和95.74%的原生词汇决策。 其余分歧源于上下文计算已产生状态,仅终端读出被简化。在条件摘要任务中,稀有词优先能提高参考相似度,但源一致性仍未解决。 结果显示,可重复的修复效果不保证预测迁移,且全部原生解码得分更高,加速效果尚未证实。

  23. arXiv · NLP33

    BFS-PO: 用于大型推理模型的最佳优先搜索强化学习算法

    提出一种名为 BFS-PO 的强化学习算法,用于解决大型推理模型在长思维链推理中产生的“过度思考”现象,该算法在提升模型精度的同时缩短了推理链长度。 BFS-PO 采用最佳优先搜索探索策略,将训练时生成的推理链组织为搜索树,并通过基于最大熵节点的回溯机制选择最短正确序列进行扩展。 该工作已被 NeurIPS 2026 接收,证明了在多个基准测试和基础 LRM 上可同时实现精度提升与答案简洁化。