跳到正文
11月10日周二
  1. arXiv · NLP29

    潜空间视觉推理瓶颈:数据信息不足与生成偏离

    研究发现模型在潜空间视觉推理中忽略连续潜 token,因其替换为无信息占位符后准确率不受影响。 分析表明现有数据中 oracle 潜 token 缺乏额外信息,且推理时生成的 token 偏离 oracle 表征,导致无法获益。 未来突破需依赖具备高信息量中间步骤的数据集及更精确的潜 token 预测方法。

  2. arXiv · NLP33

    基于信道编码理论的 LLM 智能体可靠性框架

    该研究提出基于 Shannon 编码理论的 LLM 智能体统一可靠性框架,将重试等技术与六种经典算子对应。 在 MMLU、GSM8K 和 HumanEval 测试中,引入的自适应路由在匹配质量下使成本降低 56%,或降低成本时提升 7% 质量。 该工作被 NeurIPS 2026 接收,支持在固定策略无法占优的场景下优化算力分配。

  3. arXiv · NLP26

    可靠 Chain-of-Thought 前缀一致性方法

    提出“前缀一致性”测试时推理技巧,通过截断并重生成 Chain-of-Thought 轨迹来加权候选答案。 该方法无需访问 token log-probabilities,在五个推理模型和四个基准测试中,以中位 4.6 倍更少的 token 达到多数投票精度。 论文已被 NeurIPS 2026 接收,代码已公开。

  4. arXiv · NLP31

    VHG框架提出验证器支持的数学难题生成

    VHG框架提出验证器支持的数学难题生成,通过三方自玩结合独立验证器,在不定积分和通用数学推理任务中显著优于所有基线方法。 框架约束出题者奖励由问题有效性(验证器评估)和难度(解题者评估)共同决定,并实现了两种验证器变体:硬性符号验证器和软性基于LLM的验证器。 研究被NeurIPS 2026接受,相关代码已开放获取,旨在弥补现有生成方法中因奖励欺骗导致无效难题的问题。

  5. arXiv · NLP29

    Focus Matters: Attention-Value Dynamics for Efficient Hallucination Mitigation in Vision-Language Models

    针对大型视觉语言模型(LVLMs)的对象幻觉问题,研究提出基于注意力-值动态的免训练推理时干预方法。 该方法识别出视觉处理中的“聚焦”阶段,通过替换低注意力 token 的值向量来减少幻觉,同时保留真实物体证据。 实验表明该方法几乎不增加额外运行时开销,且能与现有推理时缓解方法兼容。

  6. arXiv · NLP28

    TabDLM:基于联合数值-语言扩散的自由格式表格数据生成

    TabDLM提出了一种基于掩码扩散语言模型(MDLMs)的统一框架,用于生成包含自由文本和数值属性的异构表格数据。 该模型通过掩码扩散处理文本和类别特征,利用学习到的专用数值token嵌入进行连续扩散处理数值特征,并通过双向注意力机制捕捉跨模态交互。 在多个基准测试中,TabDLM的表现优于现有的强扩散模型和LLM基线,代码已公开,论文被NeurIPS 2026接收。

  7. arXiv · NLP29

    ChartHal:评估大视觉语言模型图表理解中幻觉的细粒度框架

    ChartHal提出了一套图表理解中的幻觉细粒度分类体系及包含1,062条人工验证样本的基准数据集。 实验显示,最先进的模型GPT-5和o4-mini在该基准上的准确率仅分别为34.46%和22.79%。 研究表明,涉及图表缺失或矛盾信息的问题最容易触发模型幻觉,凸显了开发更强健缓解策略的迫切需求。

  8. arXiv · NLP30

    SPRING:基于求解器引导的过程奖励提升逻辑推理

    SPRING提出利用SMT求解器对中间推理步骤进行验证,通过过程级监督提升大语言模型的逻辑推理能力。 该方法鼓励新颖的推理进展,惩罚矛盾和非信息性步骤,在ZebraLogic、AR-LSAT和Knights and Knaves三个基准上超越基线模型。 该工作已被NeurIPS 2026接收,展示了过程奖励在提升逻辑推理性能上的有效性。

  9. arXiv · NLP28

    利用扰动强度增强 LLM 解释自我一致性评估

    提出一种 LLM-as-a-judge 方法,统一测量输入和 CoT 扰动强度,以公平评估 LLM 解释的自我一致性。 实验表明该 LLM 基测量方法优于嵌入和概率基方法,且输入扰动通常比 CoT 扰动影响更强。 研究建议在相同扰动类型内判断模型自我一致性,该工作已被 ALTA 2026 接收。

  10. arXiv · NLP33

    PACE-dLLM:基于置信度悬崖估计的扩散语言模型弹性块解码

    研究提出 PACE-dLLM 方法,通过周期性重新拟合置信度悬崖来动态调整解码视界,支持 LLaDA 和 Dream 等扩散语言模型并行解码。 该方法在推理和代码基准测试中取得最优平均准确率,LLaDA 吞吐量提升 5.23 倍,Dream 提升 3.06 倍。 此成果已被 NeurIPS 2026 接收,推进了扩散语言模型在质量与吞吐量之间的帕累托前沿。

  11. arXiv · NLP28

    ScienceIDE 将全球科学代码库转化为 Agent 可学习环境

    团队提出 ScienceIDE 基础设施,将科学代码仓库转化为支持任务生成与验证的可执行环境,以解决科学经验瓶颈。 基于该环境中的验证交互轨迹,团队训练了 PhAI-IDE-72B/9B/4B 模型族。这些模型在科学代码修复及通用代码、推理和知识基准测试中表现提升,证明科学经验可正向迁移至更广泛能力。

  12. arXiv · NLP20

    大型语言模型激活状态因果转移的架构依赖性研究

    研究验证大型语言模型间内部激活状态因果转移并非普遍存在,而是具有架构依赖性。 使用 Qwen2-0.5B、Phi-3-mini、Mistral-7B 和 FLAN-T5-base 测试,仅在 Qwen2 到 Phi-3 路径中观察到统计显著的因果效应。 结果揭示当前端到端激活状态转移主要传递表征载体而非语义意义,为跨模型通信机制划定技术边界。

  13. arXiv · NLP37

    内省耦合:固定监督下的语言模型自我解释追踪行为变化

    研究发现,利用早期检查点或行为相似模型生成的固定反事实解释训练语言模型,其生成的解释往往比训练目标更忠实地反映模型当前的真实行为。 这种“内省耦合”现象在解释与当前行为保持相关时发生,即便行为发生转变,解释也会随之调整,且对标签噪声具有鲁棒性。

  14. arXiv · NLP27

    对比差异 CKA 揭示语言模型架构间概念特定的结构对齐

    研究者利用对比差异居中核对齐 CKAΔ 分析语言模型概念编码。在四个检查点和八个人格特质上,固定最终层分析显示同特质 CKAΔ 均值为 0.7259,跨特质为 0.6828。 标签随机化检验显示 p 值为 1/10001,但加权 95% 区间 [-0.0330, 0.1017] 限制了广义结论。 结果支持概念特定结构和留一线性可恢复性的范围诊断,未确立通用不变性。

  15. arXiv · NLP25

    LLMs 通过优化提示词更好地捕捉人类判断

    研究发现 LLMs 在捕捉人类判断上存在局限,但简单的提示策略能显著缓解这些问题,提升 AI-人类对齐度。 研究在 144 个道德场景和 38 条道德信念数据集上验证,让模型报告标准差和响应比例比常用策略能更好地恢复人类响应的完整范围。 结果还表明,模型对清晰场景的追踪能力与人类混淆评分相关,而模型置信度评分能较好预测人类变异性。

  16. arXiv · NLP26

    连续语言扩散模型中简易读出的局限性

    简易读出在生成的ELF和AURORA状态下,仅通过token级仿射映射可分别恢复97.17%和95.74%的原生词汇决策。 其余分歧源于上下文计算已产生状态,仅终端读出被简化。在条件摘要任务中,稀有词优先能提高参考相似度,但源一致性仍未解决。 结果显示,可重复的修复效果不保证预测迁移,且全部原生解码得分更高,加速效果尚未证实。

  17. arXiv · NLP33

    BFS-PO: 用于大型推理模型的最佳优先搜索强化学习算法

    提出一种名为 BFS-PO 的强化学习算法,用于解决大型推理模型在长思维链推理中产生的“过度思考”现象,该算法在提升模型精度的同时缩短了推理链长度。 BFS-PO 采用最佳优先搜索探索策略,将训练时生成的推理链组织为搜索树,并通过基于最大熵节点的回溯机制选择最短正确序列进行扩展。 该工作已被 NeurIPS 2026 接收,证明了在多个基准测试和基础 LRM 上可同时实现精度提升与答案简洁化。

  18. arXiv · NLP21

    提出 ComprExIT:基于显式信息传输的上下文压缩框架

    针对长上下文 LLM 智能体成本高问题,提出 ComprExIT 框架。该框架通过跨层特征自适应选择和全局协调传输计划解决压缩瓶颈。 实验在 12 个数据集上显示,ComprExIT 相比强软压缩基线平均 F1 提升达 18.5%。新增可训练参数仅约 1%,压缩速度最快达到基线的 2 倍以上。 代码将在论文录用后开源。

  19. arXiv · NLP41

    InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架

    InFi-Check 提出面向 LLM 输出的可解释细粒度事实核查框架。 该框架包含受控数据合成管线及经人工验证的评测基准 InFi-Check-FG,核心组件 InFi-Checker 可同时生成支持证据、细粒度错误类型分类、依据说明及纠正结果,并在评测基准上达到 SOTA 性能。 实验结果表明其增强了事实核查结果的可解释性与可靠性。

  20. arXiv · NLP41

    HARDTESTGEN: 用于 LLM 算法编程的高质量 RL 验证器生成管道

    HARDTESTGEN 提出合成高质量算法编程测试用例的方法,构建了含 26.6k 题目的 HARDTESTS 数据集。 相比现有测试,HARDTESTGEN 在验证 LLM 生成代码时精确度提升 11.22 个百分点。 使用 HARDTESTS 验证器进行拒绝采样和强化学习下游训练,能提升 LLM 代码生成性能,相关数据和管道已开源。

  21. arXiv · NLP28

    QUEST 框架如何评估问题效用并提升模拟考试成绩

    研究人员提出 QUEST 框架,利用大模型模拟学习者提问并量化其对考试成绩的贡献。 基于该框架微调的问题生成器,使模拟考试成绩较最强基线提升 18.5%,且模拟效用与人类感知呈正相关。 该工作发表于 EMNLP 2026,并构建了涵盖五个学科领域的 TEXTBOOK-EXAM 基准测试。

  22. arXiv · NLP20

    基于语言模型生成新颖实验假设的系统框架

    研究提出利用语言模型模拟实验结果以生成假设的系统框架,并在儿童语言发展中验证。 在动词习得研究中生成两个未经测试的新假设,指出语序与突显度对齐调节儿童泛化,且第一非名词性论点对齐影响更大。 该框架为通过模拟学习者进行假设生成提供通用方法,并产出可在实验室测试的儿童语言习得假设。

  23. arXiv · NLP30

    乳腺X光VLM跨信号一致性评估

    在乳腺密度和BI-RADS分类任务中,四个视觉语言模型对图像扰动后的置信度并未降低,且选项乱序会改变多数模型的回答。 研究发现,部分模型自身陈述的推理与最终答案存在矛盾,这种不一致性无法仅通过准确率评估。该结果指出,在评估VLM时,必须结合答案、置信度和解释的一致性来判断其输出可信度。

  24. arXiv · NLP28

    LLM agents 共享内存下的无提示协调:独立复现与扩展研究

    研究发现共享缓存能作为隐式通信通道,促使 LLM agents 在无提示情况下自发协调,且该现象在独立复现中得以确认。 协调行为不取决于模型厂商等级,而由是否写入中间结果及再次检查共享存储决定,一句提示语即可切换此机制。 研究建议对 agent 间共享状态进行命名空间隔离和日志记录,并强调实验设计需先于数据锁定。