跳到正文
11月3日周二
  1. arXiv · AI32

    Library of Layers (LoL):推理时动态排序 Transformer 层

    提出 Library of Layers (LoL) 架构,推理时动态排序 Transformer 层,实现参数复用与稀疏性的统一。 单超参数控制全局层库大小,在文本预训练中性能媲美 Dense、循环及 MoE 基线。 证明模型可通过层序执行不同策略,路由探针可高 AUROC 区分安全与不安全文本。

  2. arXiv · AI37

    语言模型自我承诺机制研究:首次答案如何影响后续推理

    研究22个开源模型发现,首次回答会在残差流写入“承诺方向”,该方向相似度预测后续问题耦合度(ρ=0.43--0.85)。 消融共享方向后最多保留17%效应,且不同模型对同一方向的读取电路随规模和指令微调显著变化。 该机制揭示了模型内部状态如何在跨话题中持续影响推理稳定性。

  3. arXiv · AI31

    MIRA:通过欺骗性上下文增强强化多模态推理

    MIRA 提出一种无需人工标注的训练框架,通过在训练过程中注入经过筛选的欺骗性视觉上下文,解决了现有强化学习框架中感知与推理脱节导致幻觉累积的问题。该框架包含基于组的反思触发机制,帮助模型自主检测并纠正视觉线索与逻辑约束间的矛盾。实验显示 MIRA 在域内推理基准上平均提升 7%,已在 NeurIPS 2026 被接收。

  4. arXiv · AI23

    Transformer 自注意力矩阵在等向得分几何下的光谱退化

    研究表明 Transformer 自注意力矩阵在等向得分几何下呈现光谱退化,主导模式保留而主体光谱集中为零。 该结论基于预训练视觉与语言 Transformer 的实证诊断,其 token 空间奇异矩阵具有近乎均匀的广义特征角分布。 此结果解释了自注意力机制如何通过压缩剩余主体模式来保留少数主导方向。

  5. arXiv · AI23

    时间序列基础模型中 patch 尺寸效应研究

    基于 97 个 GIFT-Eval 任务对比显示,encoder-only 模型在较小 patch 下表现更优,而 decoder-only 模型呈 U 型趋势且最优 patch 随预测范围增大。 encoder-only 在超过 2048 上下文长度后增益递减,decoder-only 具备更低 CPU 延迟与训练成本优势。 研究表明架构与 patch 尺寸选择需依据预测范围和部署约束权衡。

  6. arXiv · AI42

    大语言模型形式化中的类求解器行为

    研究发现 LLM 形式化模型在生成程序前常通过推理链直接解题,这种类求解器行为(SLB)在 85% 的轨迹中出现,且占 24% 的推理 token,但通常与程序输出冗余。 SLB 在命令式 Python 中比声明式 Z3 或 PDDL 更常见,使用占位符隐藏问题数值可消除 97% 的 SLB 且不损失准确率,提示模型应通过程序生成过程而非仅输出结果进行评估。

  7. arXiv · AI24

    FactorSpec: 将精确关系约束作为推测草稿以提升 LLM 结构化输出服务效率

    论文提出 FactorSpec 方法,将 JSON Schema 关系约束编译为推测草稿,解决结构化输出中模型常违反语义关系的问题。 该方法在 SGLang 中实现每步验证高达 10.5 个 token,解码速度比逐负载调优推测器快 1.43 倍,且每条记录均有效。 在语法基线之上,FactorSpec 每 GPU-秒可服务多达 13.9 倍的有效记录,显著提升生成合规性。

  8. arXiv · AI32

    引入“提示缩放律”提升模型扩展预测精度

    针对弱模型评分过零导致传统缩放律失效的问题,本文提出“提示缩放律”,通过特权信息生成不同难度基准以建立连续预测趋势。 在 Delphi 预训练梯度和多个后训练模型家族中,该方法将 GSM8K、AIME 和 HLE 的中位数预测误差从 21 个百分点降至 4.3 个百分点,并显著减少了区分模型性能所需的测试样本数量。

  9. arXiv · AI25

    小模型开放生成中测试时扩展与语义聚类投票的效果研究

    研究证实,在小规模模型中,语义聚类投票对数学问题能带来显著增益,但对开放式文本生成提升极其有限。 在包含250个提示词的基准测试中,Qwen2.5-3B等三个模型家族的数学准确率提升10至29分,而开放式文本评分至多仅增加0.30分。 绝大多数开放生成样本落入单一语义簇,增加解码温度未能恢复有效多样性,且导致质量净损失。

  10. arXiv · AI23

    ANCHOR: KL 锚定离线到在线强化学习适应方法

    研究提出 ANCHOR 方法,通过 KL 锚定将 actor 固定于离线预训练策略初期,并在 FrankaKitchen 等任务中显著降低灾难性失败。该方法早期保留保守正则化以抑制崩溃,随时间退火约束并保留残差保守 critic 正则项。理论分析表明 KL 锚定有助于保持邻近分布下的 critic 可靠性。

  11. arXiv · AI34

    TTT-Consolidate 提出了一种利用多智能体推理轨迹作为测试时训练(Test-Time Training)自适应数据的框架,用于提升后续推理性能。

    该框架通过双层优化进行元学习,内循环使用轻量级 LoRA 适配器编码轨迹,外循环学习元参数;同时构建了包含 12,810 道数学题的 OpenParallelThinking 语料库。 在数学和 STEM 基准测试中,TTT-Consolidate 在匹配计算和运行时间的情况下,比最佳聚合基线高出最多 20 个百分点,且随着可用轨迹数量增加,其从失败轨迹中恢复的能力增强。

  12. arXiv · AI20

    混合 AI 中超越统计一致性的机器学习新定义

    提出机器学习新定义,主张机器学习需满足真值条件与保障条件,即估计收敛于真值并在形式系统内推导该收敛。 证明该定义适用于有限理想语料库中的句子概率,而 i.i.d. 假设因导致循环推导不满足要求。 框架统一解释了现代混合 AI 在任务类型(概率预测与演绎证明)和系统组件(统计提议者与演绎验证者)上的双重混合特性。

  13. arXiv · AI20

    深度学习中的谱重整化群视角

    研究发现深度神经网络在训练中常形成重尾幂律谱,最佳检查点通常位于谱指数 $\alpha\approx 2$ 附近。 该指数被提出作为区分稳定学习与过拟合的统计边界,并满足 Wilsonian 边际条件。 基于此提出的 SETOL 理论连接了 HTSR 与 Muon 等优化器,并激发了 WW-PGD 新扩展。

  14. arXiv · AI42

    Scorpio:提升大语言模型测试时计算自评估效率的方法

    Scorpio 通过联合评分随机分组候选项,显著提升了自验证与聚合效果,推理成本降低 17-42% 且验证准确率最高提升 7 个百分点。 该分析基于排名误差的偏差-方差分解,指出额外计算降低方差但偏差存在平台期,Scorpio 在数学、代码等基准测试中均优于基线。 Scorpio 还改善了树搜索准确率(最高提升 10 个百分点)及聚合方法在代码任务中的扩展性(提升 11 个百分点)。

  15. arXiv · AI52

    Strategist:通过智能体进化推理策略

    论文提出元智能体Strategist,可跨任务进化推理策略。该智能体将策略编写为可执行代码蓝图并存储于共享库中,通过检索、生成、测试和修订迭代优化。在30个基准测试中,Strategist在24项上超过最强基线,平均准确率从74.0%提升至74.7%,且推理成本降低39%。生成的策略还能直接迁移至未见过的任务和其他模型,无需进一步搜索。

  16. arXiv · AI25

    Claude 如何证明 AI 能简化正式人口学证明

    Claude 重新证明了对年长者接种新冠疫苗能最多挽救生命和人年的结论,其新证明基于风险函数倒数凸性,更短且更直观。 该证明仅依赖风险函数即可验证,适用于多数常见参数模型,并给出了预期寿命下限及凸性松弛形式。 这表明 AI 能够重新审视既定结果、简化理解路径并证明有价值的泛化结论。

  17. arXiv · AI30

    CAREFUL-Bench:面向 LLM 多轮函数调用的无裁判、效果感知评测

    针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。

  18. arXiv · AI26

    超越答案、轨迹与效率:自适应推理的证据

    当前AI系统评估侧重最终答案、推理轨迹及效率,但未能证明推理在任务或证据变化时是否自适应。 作者区分跨任务与任务内适应性,以 ARC-AGI 为诊断案例,提出面向干预的评估方法。 该方法旨在测试抽象迁移和假设修正,支持评估系统在变化条件下的鲁棒性和可审计性。

  19. arXiv · AI40

    Chain of Faith: 基于策略内部奖励提升推理依赖的研究

    研究提出四种基于策略信号的奖励机制,旨在增强模型对生成推理过程的依赖,解决链式思维解释与实际答案脱节的问题。 实验将梯度敏感性、置信度差距、渐进置信度增益及推理提示词交换奖励加入 GRPO 训练,在 GSM8K 和 StrategyQA 上评估两个小模型,发现部分配置提升了答案对推理编辑的依赖,但准确率与改写鲁棒性效果不一。

  20. arXiv · AI33

    变量名提供先验:语义锚定使大型语言模型在数据稀缺时实现高效数值预测

    研究发现变量名与描述值匹配构成的语义锚定,使五个 LLM 在缺乏任务特定训练下,于九个科学领域的 20 个数据集上媲美或超越七个监督 ML 模型。 推理轨迹表明 LLM 利用预训练获取的领域知识作为先验;当示例矛盾累积时,预测向作为似然的示例转变,符合贝叶斯更新机制。 该研究揭示了 LLM 使用领域知识的机制,将其定位为数据稀缺科学领域的高效预测器。

  21. arXiv · AI35

    基于LLM价值定位的多值对齐方法

    研究通过定位LLM中的价值敏感注意力头(value heads),提出推理时激活引导策略,无需更新参数即可实现对多个价值观或风格偏好的可控对齐。 该框架揭示了不同价值维度间的功能特化及冲突,并通过目标头消融实验验证了其因果重要性。

  22. arXiv · AI31

    基于校准约束的 LLM 自我评估诊断框架

    研究提出基于 VC 理论的诊断框架,评估 11 个 7-8B 模型在 360 道数学推理题中的自我评估能力。 结果显示自我评估表达力与校准存在系统性反向关系,JiuZhang3.0-7B 校准最佳,PVC-VUS 差距最小。 该框架为开发自我反思型 LLM 提供了诊断工具,揭示了该领域面临的根本性挑战。