跳到正文
11月9日周一
  1. arXiv · NLP45

    VibeLifeBench:生活智能体能否在真实世界中保持主动与坚持?

    VibeLifeBench提出一个包含200项长周期任务的基准,用于评估LLM智能体在模拟现实生活中的主动性与持久性。该基准涵盖10个日常领域,涉及22个模拟服务,任务周期长达数周且世界状态会自行变化。 该基准评估了7个前沿模型,所有模型得分均较低,揭示了当前智能体在辅助真实生活方面的显著差距。

  2. arXiv · NLP20

    Kontrast 检测文本、表格与知识图谱间的知识不一致性

    研究提出 Kontrast 框架,利用 Text-to-SPARQL 和 LLM 推理对比表格答案与知识图谱证据,自动检测并分类跨模态不一致性。该框架覆盖粒度差异、直接冲突、时间变化及图谱不完整四类情况,在 Table-QA 数据集实验表明此类不一致普遍且具信息量,能揭示真实知识冲突及图谱结构缺失,为大规模知识审计提供基准。

  3. arXiv · NLP28

    微调语言模型的信息传递机制:Canopy Entropy 分析

    研究提出树视角的 Canopy Entropy (CE*) 指标,指出微调并非单纯降低不确定性,而是重组生成空间。CE* 联合捕获输出长度与序列熵,等于总 Shannon 熵。 控制变量后,微调使熵率与语义多样性的相关性增强近 3 倍。这意味着对齐模型能更高效地将 token 不确定性转化为语义多样性。

  4. arXiv · NLP32

    CoBit:基于比特流扩散的语言建模

    CoBit 是一种连续扩散语言模型,通过联合去噪固定宽度二元令牌代码生成文本,将代码比特分组为单个 Transformer 补丁以保留序列长度。CoBit-S(130M 参数)在 LM1B 和 OpenWebText 上的生成困惑度分别为 59.76 和 27.06;扩展到 462M 参数后,OpenWebText 困惑度降至 19.48。

  5. arXiv · NLP28

    LLMs 能否对检索信息持保留态度?

    研究评估了 8 个大语言模型在应对不确定检索信息时的局限性,发现其存在过度依赖复杂上下文等问题。 提出的交互策略通过反馈无上下文答案并简化上下文,使顺从性错误平均减少 25%,且不修改模型权重。

  6. arXiv · NLP32

    利用跨语言不一致性在 MoE LLM 中实现知识定位

    研究人员提出利用 MoE LLM 的跨语言不一致性进行知识定位,通过对比成功与失败语言下的路由行为识别关键专家。 框架分两阶段:跨语言提问生成激活桶,对 MoE 路由 logits 做统计对比分析。 仅停用约 6000 个专家中的 20 个,模型在 40% 以上的案例中便无法正确回答。

  7. arXiv · NLP23

    大型视觉语言模型图表理解中的信号与预测脱节:基于内部表征的探测研究

    研究指出大型视觉语言模型在图表理解上存在局限,其内部隐藏状态包含节点和边缘方向等信号,但模型最终预测表现不佳,导致内部信号与输出结果之间存在脱节。 线性探测实验证明,即使模型在视觉问答中难以处理的边缘连通性,也能从隐藏状态中解码出来;进一步的因果干预表明,部分探测信号确实影响了最终预测,且该发现同样适用于流程图场景。 该研究揭示的表征与输出差距有助于深入理解并改进视觉语言模型的推理能力。

  8. arXiv · NLP26

    克服多语言灾难:面向高效语言适应的规模扩展策略

    研究表明,通过放大模型规模(upscaling)比标准继续预训练更高效地适应该语言,尤其能缓解容量限制,显著提升资源较丰富语言的目标性能。 对于低资源语言,在英语基础上先进行初步放大步骤有益;而在高资源场景下,直接在目标语言上进行放大计算效率更高,但可能牺牲数据效率。 该文发表于 Findings of AACL-IJCNLP 2026,系统验证了不同放大策略在多语言场景下的效率与性能权衡。

  9. arXiv · NLP36

    扩散语言模型近似联合采样:轻量采样层实现并行多 Token 生成

    提出一种针对扩散语言模型的近似联合采样方法,通过附加轻量级单层“采样器”实现单次全模型前向传播后多次采样层前向传播,并行解掩码生成文本。在 Dream-7B 系列模型上,每步解掩码 4 个 token 时,该算法 MAUVE 得分达 0.87,显著优于边际基线的 0.31。 该方法在预训练和指令微调模型的语言建模、数学及代码任务中验证有效,平衡了生成速度与联合分布准确性。

  10. arXiv · NLP31

    BMMS 提出:基于策略的条件化行为合规度量框架

    研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。

  11. arXiv · NLP29

    多模态LLM图理解失败归因:感知与计数复杂度分离分析

    研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。

  12. arXiv · NLP21

    Phantom Consensus: 衡量多智能体 LLM 决策中的社会推理

    研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。

  13. arXiv · NLP20

    CodeQuant2: 面向低精度大推理模型的异常值抑制与自适应聚类

    CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。

  14. arXiv · NLP25

    ROSE 提出面向多模态大语言模型终身知识编辑的风险感知正交子空间导航框架

    多模态大语言模型终身知识编辑面临严重灾难性遗忘问题,现有方法难以避免序列编辑对预训练能力的干扰。 ROSE 框架通过限制参数更新在正交互补子空间并引入风险掩码机制,成功保护了关键事实参数子空间,确保模型稳定性。 在两个主流多模态基准测试中,ROSE 在连续 1,000 次更新中保持了卓越稳定性,其表现与最先进方法相当。

  15. arXiv · NLP21

    AI 智能体需要多少对话历史?

    基于 1,100 个 BEAM 问题研究显示,增大 passage budget 可提升平均分,但高分预算下边际收益递减。 实验对比 Qwen 和 Mistral 的消息保留表现:Qwen 在直接需求下匹配完整状态率更高,Mistral 结果接近最低基线。 可靠的预算选择需保留证据并验证评估指标,当前评分审计尚未解决 BEAM 答案正确性问题。

  16. arXiv · NLP30

    QGPM:基于查询引导的 RoPE 调制缓解长上下文 LLM 的“中间迷失”现象

    研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。

  17. arXiv · NLP20

    APEX:基于查询自适应意图检测的有效口语理解方法

    论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。

  18. arXiv · NLP25

    OpenCoder-1.5B 预训练中的表征漂移:行为稳定,承载神经元不固定

    OpenCoder-1.5B 在 2 万亿 token 预训练中表现出表征漂移:对于 16 个语法确定下一个 token 的 Python 结构,虽然损失在训练前 4% 内触底,但模型对承载神经元的依赖持续增长,且承载集在最后检查点仍在变化。移除 840 亿 token 时确定的承载集在训练结束时与随机集无法区分,而离开某结构承载集的神经元回归率是对比神经元的 3 倍,证明了预设定假说的错误。

  19. arXiv · NLP31

    校准概念画像:将模型神经元的读取转化为测量

    提出校准概念画像方法,将模型神经元激活读取转化为具有单位和噪声指标的测量。在 OpenCoder-1.5B 模型上实现,跟踪跨越 2 万亿训练 token 的检查点,计算每个神经元的一个数值,提供比较的偶然水平基准。 该方法发布代码和数据集 AtlasOpenCoder v1,确保读取可重复、可比较,避免跨研究无法转移的问题。

  20. arXiv · NLP20

    语义条件相似度 (SCS):一个正式的数学框架

    论文提出语义条件相似度(SCS),这是一种条件形式的语义文本相似度(STS),通过集运算消除第三文档中的共享语义元素,计算两个文档间的相似度。 SCS 引入方向性,将两两关系分为侧向和纵向类别;通过减去第三文档的共享内容实现跨文档条件化,实现了无阈值的内容分解。 该框架适用于从 n到1 到 1到n 及 m到n 的文档基数范围,恢复了成对对称比较所抑制的信息。

  21. arXiv · NLP20

    RL-ATTACK:基于强化学习的黑盒对抗攻击

    RL-ATTACK提出了一种基于强化学习的可训练黑盒对抗攻击框架,通过学习目标模型生成定制化对抗变换。 在黑盒场景中,该方法比依赖外部知识的现有方法具有更高的查询效率。在自然语言推理任务中,它能在20次查询内将攻击后准确率降至2%。 在生成式问答任务中,受训攻击者比未受训攻击者一致地实现更低的攻击后准确率,并在6个场景中的4个场景中胜过强基线。代码已公开。

  22. LessWrong · All Posts33

    J-lens 中间变量替换部分通过答案方向起作用

    J-lens 中间变量替换部分通过答案方向起作用,而非完全经由中间概念。 在 8 个开源模型及 1,526 个双跳提示词测试中,答案平面分量单独复现了 26% 的成功翻转,而正交分量仅占 12%。 这表明该干预存在直接重叠效应,但 65% 的提示词中单独应用任一成分均未成功。

11月6日周五
  1. 机器之心70

    源策未来发布全身控制模型 Anchor 1

    源策未来发布全身控制模型 Anchor 1,旨在解决人形机器人全身操作中指令精准与执行稳定的问题。该模型提出“五个锚点”指令方案并采用解耦的误差反馈机制,在真机测试中手腕和脚踝全局位置误差较对比方法降低约 28% 和 39%,显著提升了遥操作示范采集效率。

    推荐理由:文章详细拆解了 Anchor 1 通过五个锚点和解耦误差反馈提升精度的机制,以及其评测标准对数据质量的意义。

  2. arXiv · ML22

    混合双批次与循环渐进学习优化CNN分布式训练效率

    在参数服务器框架上提出的混合双批次与循环渐进学习方法,旨在平衡CNN大模型分布式训练的效率与泛化能力。 方法通过结合硬件支持的最大批次以利用计算资源,同时引入较小批次以提升模型泛化;配合循环渐进学习逐步增加图像分辨率以压缩训练时间。 在ResNet-18实验评估中,该方法使CIFAR-100准确率提升3.3%、训练时间缩短10.1%,并将ImageNet训练时间缩减34.7%。