跳到正文
11月9日周一
  1. arXiv · NLP32

    CoBit:基于比特流扩散的语言建模

    CoBit 是一种连续扩散语言模型,通过联合去噪固定宽度二元令牌代码生成文本,将代码比特分组为单个 Transformer 补丁以保留序列长度。CoBit-S(130M 参数)在 LM1B 和 OpenWebText 上的生成困惑度分别为 59.76 和 27.06;扩展到 462M 参数后,OpenWebText 困惑度降至 19.48。

  2. arXiv · NLP28

    Adamas:基于 Hadamard 稀疏注意力的高效长上下文推理方法

    Adamas 提出一种结合 Hadamard 变换、分桶及 2-bit 压缩的 token 级稀疏注意力机制,用于高效长上下文推理。 该机制通过轻量级距离估计筛选 top-k 候选,在 Llama-3.1-8B-Instruct 有效上下文内保持近无损性能,32K 长度下实现 6.5 倍自注意力加速。 AIME 2024/2025 等长程推理基准测试中,其表现与完整注意力机制相当。

  3. arXiv · NLP21

    BitDecoding-FP4:通过算法系统协同设计实现原生 FP4 KV Cache 解码

    提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。

  4. arXiv · NLP24

    Laya 非自回归决策模型的选项顺序敏感性测试

    测试显示 Laya 模型在选项顺序变化下改变答案的比例高达 25.8%,其中低置信度区间翻转率显著更高。 针对 951 道验证过的题目进行多种排列测试,发现调整选项顺序可显著影响结果。使用 2,818 行数据微调后,翻转率降至 7.2%,其中打乱顺序策略贡献了 4.2 个百分点的改进。

  5. arXiv · NLP24

    RPEG:可规模化且低成本训练推理语言模型的方法

    论文提出数据为中心的图中间表示 RPEG,用于联合优化推理语言模型(RLM)训练流水线的结构与执行。 RPEG 暴露有界异步、actor-critic 共享等结构选择,并结合阶段融合、细粒度调度和多维模型并行优化,配套分析性能模型。在最多 256 块 GH200 GPU 上,其分布式运行时较 ReaL 提速最高 2 倍、较 verl 降低步延迟最高 2.48 倍,硬件利用率提升最高 30%。

  6. arXiv · NLP21

    PathXAI 通过可迁移组织分割实现证据引导的结构化病理报告生成

    PathXAI 结合组织分割信息与 H&E 图像生成结构化病理报告,其分割组件在内部和外部测试中 Dice 均值超越基线模型。 在 1,200 个公开和 151 个私有病例评估中,PathXAI 与参考诊断的吻合度高于 H&E 对照组,其中 PathXAI-Report 比 Qwen + H&E 的癌症家族匹配率高 4.4 个百分点,发现 F1 值高 5.7 个百分点。

  7. arXiv · NLP29

    多模态LLM图理解失败归因:感知与计数复杂度分离分析

    研究通过区分感知与计数复杂度,揭示多模态LLM在图示任务中失败的根源。针对Gemini等模型,思维链模式下错误率主要受答案数值量级驱动(每十进制数下降2.38倍)。提供代码与转录后,10x10网格计数正确,但单次阅读易漏横向边;结合旋转副本二次读取,大网格精确识别率达86/96。

  8. arXiv · NLP21

    Phantom Consensus: 衡量多智能体 LLM 决策中的社会推理

    研究提出 PHANTOM-Bench 基准,用于测量多智能体 LLM 系统中“幻影共识”现象,即公开决策受模糊社交信号影响而偏离私有判断。 在涵盖九种模型测试中,模糊公开信号导致决策准确率最高下降 47.8 个百分点,集体理性失败率最高达 47.3%。 该研究被 NeurIPS 2026 SocialAgent Workshop 接收,指出评估多智能体系统需区分真实共识与表面共识。

  9. arXiv · NLP40

    RuACT:恢复非活跃评分标准作为自适应批评者与教师

    研究提出RuACT框架,将非活跃评分标准转化为自适应教师或批评者,解决RL中评分标准失效问题。 在Qwen3-4B医疗训练中,非活跃观测占比60.88%;引入框架后,不可达评分标准的无引导恢复率从35.02%提升至42.86%。 代码已开源,该框架在医疗与科学基准测试中全面超越GRPO等基线方法。

  10. arXiv · NLP30

    QGPM:基于查询引导的 RoPE 调制缓解长上下文 LLM 的“中间迷失”现象

    研究提出 QGPM,这是一种无需训练的方法,利用模型自身注意力头的查询相关性重塑 RoPE 位置,以缓解长上下文中的“中间迷失”现象。 QGPM 在低层构建广泛相关性图,高层构建尖锐图;低相关性令牌在快速旋转平面上推进不足一个位置,将相关证据拉向查询,而慢速旋转平面保持原布局。

  11. arXiv · NLP20

    APEX:基于查询自适应意图检测的有效口语理解方法

    论文提出 APEX 框架,通过两阶段检索实现无需微调的口语理解(SLU)。该框架先利用意图原型筛选候选意图,再在选定意图空间内检索上下文示例。 在 SLURP 数据集上,APEX 使 Qwen3 4B 和 Gemma-3-4B 的 EMA 分别提升 4.34 和 3.97 个百分点;高困惑度输入下 EMA 增益为 7.66 和 2.13 个百分点。

  12. arXiv · NLP31

    MARS:无需检索器的多语言搜索智能体训练

    MARS 是一个基于强化学习的多语言搜索智能体,通过直接操作原始语料库实现无检索器的证据获取,并引入语料库原生实体锚定技术。 模型设计了冗余感知的搜索奖励,旨在生成简洁高效的搜索轨迹,避免多语言场景下强化学习的训练坍塌。 实验表明 MARS 在多语言泛化性上优于基线模型,并显著减少了冗余的语料库交互。

  13. arXiv · NLP27

    超越截断:LLM 安全省略生成文本的边界与 ELIDE 方法

    研究证明无训练控制器 ELIDE 可在 670 个公开提示中安全省略生成文本。 在三个模型族上,ELIDE 优于匹配长度的截断,且仅当 NLI 模型判定被省略片段已由已展示文本蕴含时才扣留内容。 在两个新测试中,将许可范围限制在语篇单元可将有害省略比例降至约十分之一。

  14. arXiv · NLP25

    GPT-2 自训练中的有序 Rényi 熵交叉:丰富度不等于均匀度

    递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。

  15. LessWrong · All Posts23

    行为理论构建:面向多样智能体与环境的研究议程

    研究人员提出训练调查智能体与受试模型输出显式理论,旨在建立跨模型族的通用监督机制。 该方案通过将理论视为信念空间中的工作假设,解决现有黑盒方法需针对每个新模型重复适配的不可行性。 目标是验证源自特定模型族的理论能否更高效地预测或调查新模型行为,实现更灵活的低计算开销监督。

  16. LessWrong · All Posts33

    J-lens 中间变量替换部分通过答案方向起作用

    J-lens 中间变量替换部分通过答案方向起作用,而非完全经由中间概念。 在 8 个开源模型及 1,526 个双跳提示词测试中,答案平面分量单独复现了 26% 的成功翻转,而正交分量仅占 12%。 这表明该干预存在直接重叠效应,但 65% 的提示词中单独应用任一成分均未成功。

11月8日周日
  1. The Decoder67

    The Bitter Lesson 提出者 Richard Sutton 警告:单纯算力堆叠不能带来智能,LLM 扩展路线受到质疑

    图灵奖得主 Richard Sutton 在 X 上表示,单纯算力堆叠不足以成就智能,AI 科学需要更巧妙的、可以随算力增长的新学习方法,整个领域离终点还远。他进一步批评把合成数据当作主要训练燃料是“大错”,认为真实世界远比任何模拟复杂,当前 LLM 在训练结束后停止学习,需要的是能持续从自身经验中积累、且不遗忘旧知识的、具备世界模型的智能体。

  2. Hacker News AI80

    AI 网络攻击能力基准全景:四大类测试中模型性能的快速跃升

    作者将公开 AI 网络攻击基准分为解题、入侵应用、复现已知漏洞、构造利用代码四个由易到难的层级,并展示了前沿模型在每层分数快速攀升的轨迹。

    推荐理由:作者梳理了四类公开网络攻击基准的分数跃升,展示了前沿模型在数月内从解题到完整利用漏洞的能力进展。

  3. LessWrong · All Posts36

    GPT 6 Astra 与 Deepseek-V4.1-Flash 权重空间编程能力复现:分层策略揭示机制差异

    研究者复现权重空间编程实验,GPT 6 Astra 正确率 4/4,Deepseek-V4.1-Flash 为 3/4。 分层测试显示 Flash 依赖通道标签与提示元数据,移除标签后性能大幅下降;Astra 不受影响,且仅用首层或随机 1000 个权重值即可保持高准确率。 Astra 初步存活分层测试,表明其具备直接读取模型权重的能力,未观察到 Flash 类似的表现。

  4. 机器之心68

    GPT-6 Astra 权重编辑对照实验:改权重未提升知识、风格与技能

    MIT CSAIL 提出 Weight-Space Programming,让 GPT-6 Astra 修改 Qwen3.5-0.8B 约 0.016% 权重,宣称将 MATH-500 成绩从 7.9% 提至 48.1%。无涯智远团队用超网络工具开展对照实验,发现关闭思考模式即可获得 48.95% 相近表现,且 Astra 在知识、风格与技能任务上无法稳定内化新信息。

    推荐理由:文章用对照实验拆解了权重编辑在知识、风格和技能内化上的局限,读者可据此判断其能否替代专门训练的超网络作为模型持续学习的手段。

  5. 机器之心62

    英伟达等提出TacitVLA:重新设计VLA推理,机器人动作提速3.4倍

    英伟达、纽约大学等机构的研究团队提出TacitVLA,这是一种新的视觉-语言-动作(VLA)模型设计。它在保留了“学习写推理”带来的训练收益和记忆功能的同时,去掉了部署时读取当前步骤推理文本的环节。实验表明,TacitVLA在成功率上与显式推理模型相当,且输出动作的延迟最多降低了3.4倍,显著提升了响应速度。

  6. Hacker News LLM35

    MIRASTACK 是否提出按 GPU 小时而非 token 计费 LLM 推理

    MIRASTACK 主张 LLM 推理应按 GPU 小时而非 token 计费,通过售卖固定时长的计算资源实现无限 token 使用。 公司提供针对个人、团队及企业的全托管或本地化 AI 工厂方案,使用自研网关并基于 GPU 集群运行开源模型。 旨在消除按量计费的成本不确定性,使企业无需为频繁调用模型限制开发节奏。

  7. IT之家38

    芝加哥大学教授:AI 时代数学人才招聘将更看重研究愿景与表达能力

    芝加哥大学教授 Frank Calegari 指出,随着 AI 降低数学研究门槛,招聘需更依赖面对面交流以区分具备清晰研究愿景与表达能力的候选人。 他批评仅审查书面材料的“懒惰评审委员会”,因 AI 可生成成果,主张 30 分钟直接交流能有效识别低质量批量制作者。康奈尔大学教授 Steven Strogatz 也认为具备个人魅力的数学家更受重视,OpenAI 正推出数百项复杂难题解决方案。

  8. R/ArtificialInteligence38

    大语言模型为何滥用破折号

    Transformer 架构导致 AI 模型滥用破折号,源于三重机制:训练数据偏好编辑部风格文本、自回归生成时的语法兜底作用,以及 RLHF 奖励机制强化戏剧性表达。 自回归模型无法预知句尾,破折号成为最安全的语法“胶带”;人类评估员将这种风格误判为高置信度,促使奖励模型放大该特征。

11月7日周六
  1. LessWrong · All Posts54

    Karthik Tadepalli:Anthropic的AI自我加速是真实的

    METR研究员在Anthropic内部三个月的评估显示,2025年10月至2026年10月间,Anthropic模型能力以比前一阶段快2倍的速度增长,其中约80%归功于AI。尽管METR报告大部分被Anthropic删减导致外界难以直接评估,但作者Karthik Tadepalli利用公开数据交叉验证,认为这种加速是真实的,且大概率由AI驱动。