跳到正文
11月3日周二
  1. arXiv · AI26

    利用增强记忆的大语言模型自动重构鲁棒优化

    AutoREM 框架通过无调优的增强记忆机制,利用历史失败轨迹构建结构化文本经验记忆,实现了鲁棒优化模型的自动重构。 该框架无需领域专业知识或参数更新,经验记忆可迁移至不同基础 LLM,并在分布内、分布外数据集及多样化 LLM 上提升了重构的准确率与效率。

  2. arXiv · AI32

    Switchcraft: 面向 Agentic 工具调用的 AI 模型路由器

    Switchcraft 是首个针对 Agentic 工作负载中工具调用正确性优化的模型路由器。该方案使用微调的 DistilBERT 分类器,在延迟预算内选择成本最低的模型,78.3% 的答案准确率比最佳单体模型成本低 59%。 研究发现大模型在工具使用任务上并不总是优于小模型,且名义上更便宜的模型可能因 token 密集输出导致总成本更高。

  3. arXiv · AI35

    语言模型元认知失效的电路基础:干扰与幻觉

    研究揭示语言模型在知识冲突和缺失知识下产生错误的高置信度输出,源于 MLP、QK 和 VO 组件的不同电路角色。 MLP 主要存储事实,QK 引导生成方向,VO 将内容写入残差流;单短语学习的事实易受上下文干扰,多短语学习则覆盖上下文。 在 12 个预训练模型中,幻觉率随规模下降,但剩余幻觉的高置信度比例上升,置信度与正确性之间的差距未因规模缩小。

  4. arXiv · AI38

    学习型智能体记忆中的时空涌现

    研究发现,基于模型强化学习智能体在执行量子信息任务时,其内部规划器自发发展出时空特征零结构,能高保真重构闵可夫斯基度规的因果结构。智能体无需直接获取时空度规信息,仅通过最大化局部量子探针与量子场间的量子互信息来学习,其预测与行动揭示了时空几何源自操作性量子经验。

  5. arXiv · AI32

    Library of Layers (LoL):推理时动态排序 Transformer 层

    提出 Library of Layers (LoL) 架构,推理时动态排序 Transformer 层,实现参数复用与稀疏性的统一。 单超参数控制全局层库大小,在文本预训练中性能媲美 Dense、循环及 MoE 基线。 证明模型可通过层序执行不同策略,路由探针可高 AUROC 区分安全与不安全文本。

  6. arXiv · AI37

    语言模型自我承诺机制研究:首次答案如何影响后续推理

    研究22个开源模型发现,首次回答会在残差流写入“承诺方向”,该方向相似度预测后续问题耦合度(ρ=0.43--0.85)。 消融共享方向后最多保留17%效应,且不同模型对同一方向的读取电路随规模和指令微调显著变化。 该机制揭示了模型内部状态如何在跨话题中持续影响推理稳定性。

  7. arXiv · AI31

    MIRA:通过欺骗性上下文增强强化多模态推理

    MIRA 提出一种无需人工标注的训练框架,通过在训练过程中注入经过筛选的欺骗性视觉上下文,解决了现有强化学习框架中感知与推理脱节导致幻觉累积的问题。该框架包含基于组的反思触发机制,帮助模型自主检测并纠正视觉线索与逻辑约束间的矛盾。实验显示 MIRA 在域内推理基准上平均提升 7%,已在 NeurIPS 2026 被接收。

  8. arXiv · AI23

    Transformer 自注意力矩阵在等向得分几何下的光谱退化

    研究表明 Transformer 自注意力矩阵在等向得分几何下呈现光谱退化,主导模式保留而主体光谱集中为零。 该结论基于预训练视觉与语言 Transformer 的实证诊断,其 token 空间奇异矩阵具有近乎均匀的广义特征角分布。 此结果解释了自注意力机制如何通过压缩剩余主体模式来保留少数主导方向。

  9. arXiv · AI23

    时间序列基础模型中 patch 尺寸效应研究

    基于 97 个 GIFT-Eval 任务对比显示,encoder-only 模型在较小 patch 下表现更优,而 decoder-only 模型呈 U 型趋势且最优 patch 随预测范围增大。 encoder-only 在超过 2048 上下文长度后增益递减,decoder-only 具备更低 CPU 延迟与训练成本优势。 研究表明架构与 patch 尺寸选择需依据预测范围和部署约束权衡。

  10. arXiv · AI42

    大语言模型形式化中的类求解器行为

    研究发现 LLM 形式化模型在生成程序前常通过推理链直接解题,这种类求解器行为(SLB)在 85% 的轨迹中出现,且占 24% 的推理 token,但通常与程序输出冗余。 SLB 在命令式 Python 中比声明式 Z3 或 PDDL 更常见,使用占位符隐藏问题数值可消除 97% 的 SLB 且不损失准确率,提示模型应通过程序生成过程而非仅输出结果进行评估。

  11. arXiv · AI24

    FactorSpec: 将精确关系约束作为推测草稿以提升 LLM 结构化输出服务效率

    论文提出 FactorSpec 方法,将 JSON Schema 关系约束编译为推测草稿,解决结构化输出中模型常违反语义关系的问题。 该方法在 SGLang 中实现每步验证高达 10.5 个 token,解码速度比逐负载调优推测器快 1.43 倍,且每条记录均有效。 在语法基线之上,FactorSpec 每 GPU-秒可服务多达 13.9 倍的有效记录,显著提升生成合规性。

  12. arXiv · AI32

    引入“提示缩放律”提升模型扩展预测精度

    针对弱模型评分过零导致传统缩放律失效的问题,本文提出“提示缩放律”,通过特权信息生成不同难度基准以建立连续预测趋势。 在 Delphi 预训练梯度和多个后训练模型家族中,该方法将 GSM8K、AIME 和 HLE 的中位数预测误差从 21 个百分点降至 4.3 个百分点,并显著减少了区分模型性能所需的测试样本数量。

  13. arXiv · AI25

    小模型开放生成中测试时扩展与语义聚类投票的效果研究

    研究证实,在小规模模型中,语义聚类投票对数学问题能带来显著增益,但对开放式文本生成提升极其有限。 在包含250个提示词的基准测试中,Qwen2.5-3B等三个模型家族的数学准确率提升10至29分,而开放式文本评分至多仅增加0.30分。 绝大多数开放生成样本落入单一语义簇,增加解码温度未能恢复有效多样性,且导致质量净损失。

  14. arXiv · AI23

    ANCHOR: KL 锚定离线到在线强化学习适应方法

    研究提出 ANCHOR 方法,通过 KL 锚定将 actor 固定于离线预训练策略初期,并在 FrankaKitchen 等任务中显著降低灾难性失败。该方法早期保留保守正则化以抑制崩溃,随时间退火约束并保留残差保守 critic 正则项。理论分析表明 KL 锚定有助于保持邻近分布下的 critic 可靠性。

  15. arXiv · AI34

    TTT-Consolidate 提出了一种利用多智能体推理轨迹作为测试时训练(Test-Time Training)自适应数据的框架,用于提升后续推理性能。

    该框架通过双层优化进行元学习,内循环使用轻量级 LoRA 适配器编码轨迹,外循环学习元参数;同时构建了包含 12,810 道数学题的 OpenParallelThinking 语料库。 在数学和 STEM 基准测试中,TTT-Consolidate 在匹配计算和运行时间的情况下,比最佳聚合基线高出最多 20 个百分点,且随着可用轨迹数量增加,其从失败轨迹中恢复的能力增强。

  16. arXiv · AI20

    混合 AI 中超越统计一致性的机器学习新定义

    提出机器学习新定义,主张机器学习需满足真值条件与保障条件,即估计收敛于真值并在形式系统内推导该收敛。 证明该定义适用于有限理想语料库中的句子概率,而 i.i.d. 假设因导致循环推导不满足要求。 框架统一解释了现代混合 AI 在任务类型(概率预测与演绎证明)和系统组件(统计提议者与演绎验证者)上的双重混合特性。

  17. arXiv · AI20

    深度学习中的谱重整化群视角

    研究发现深度神经网络在训练中常形成重尾幂律谱,最佳检查点通常位于谱指数 $\alpha\approx 2$ 附近。 该指数被提出作为区分稳定学习与过拟合的统计边界,并满足 Wilsonian 边际条件。 基于此提出的 SETOL 理论连接了 HTSR 与 Muon 等优化器,并激发了 WW-PGD 新扩展。

  18. arXiv · AI42

    Scorpio:提升大语言模型测试时计算自评估效率的方法

    Scorpio 通过联合评分随机分组候选项,显著提升了自验证与聚合效果,推理成本降低 17-42% 且验证准确率最高提升 7 个百分点。 该分析基于排名误差的偏差-方差分解,指出额外计算降低方差但偏差存在平台期,Scorpio 在数学、代码等基准测试中均优于基线。 Scorpio 还改善了树搜索准确率(最高提升 10 个百分点)及聚合方法在代码任务中的扩展性(提升 11 个百分点)。

  19. arXiv · AI52

    Strategist:通过智能体进化推理策略

    论文提出元智能体Strategist,可跨任务进化推理策略。该智能体将策略编写为可执行代码蓝图并存储于共享库中,通过检索、生成、测试和修订迭代优化。在30个基准测试中,Strategist在24项上超过最强基线,平均准确率从74.0%提升至74.7%,且推理成本降低39%。生成的策略还能直接迁移至未见过的任务和其他模型,无需进一步搜索。

  20. arXiv · AI25

    Claude 如何证明 AI 能简化正式人口学证明

    Claude 重新证明了对年长者接种新冠疫苗能最多挽救生命和人年的结论,其新证明基于风险函数倒数凸性,更短且更直观。 该证明仅依赖风险函数即可验证,适用于多数常见参数模型,并给出了预期寿命下限及凸性松弛形式。 这表明 AI 能够重新审视既定结果、简化理解路径并证明有价值的泛化结论。