Library of Layers (LoL):推理时动态排序 Transformer 层
提出 Library of Layers (LoL) 架构,推理时动态排序 Transformer 层,实现参数复用与稀疏性的统一。 单超参数控制全局层库大小,在文本预训练中性能媲美 Dense、循环及 MoE 基线。 证明模型可通过层序执行不同策略,路由探针可高 AUROC 区分安全与不安全文本。
提出 Library of Layers (LoL) 架构,推理时动态排序 Transformer 层,实现参数复用与稀疏性的统一。 单超参数控制全局层库大小,在文本预训练中性能媲美 Dense、循环及 MoE 基线。 证明模型可通过层序执行不同策略,路由探针可高 AUROC 区分安全与不安全文本。
研究22个开源模型发现,首次回答会在残差流写入“承诺方向”,该方向相似度预测后续问题耦合度(ρ=0.43--0.85)。 消融共享方向后最多保留17%效应,且不同模型对同一方向的读取电路随规模和指令微调显著变化。 该机制揭示了模型内部状态如何在跨话题中持续影响推理稳定性。
MIRA 提出一种无需人工标注的训练框架,通过在训练过程中注入经过筛选的欺骗性视觉上下文,解决了现有强化学习框架中感知与推理脱节导致幻觉累积的问题。该框架包含基于组的反思触发机制,帮助模型自主检测并纠正视觉线索与逻辑约束间的矛盾。实验显示 MIRA 在域内推理基准上平均提升 7%,已在 NeurIPS 2026 被接收。
summary_zh: VideoEditor-MoE 是首个开源的复杂视频编辑混合专家(MoE)框架。基于 5B 编辑模型初始化,该架构扩展至 14B 和 56B 参数,每个 token 激活约 8B 参数,通过 MoE-Attention 在保持全局交互的同时扩展注意力容量。
8个 Voice-Native LLM 在353项任务中表现稳健,对挫败语音无准确率影响。模型仅3.1%正确识别挫败语调,却73%-100%识别愤怒;线性探针在两个开源模型解码出挫败特征(准确率0.67-0.69)。研究表明模型能感知声音中的挫败,但未将其用于提升表现。
MFF-Agent 结合大语言模型与 Rocq 证明助手,作为通用智能体支持跨数学领域的基础形式化任务。 该智能体整合任务分类、工具执行及验证反馈,在 Morse-Kelley 集合论等案例中验证了可行性。 研究澄清了统一操作框架与完全整合的数学基础之间的差距。
研究表明 Transformer 自注意力矩阵在等向得分几何下呈现光谱退化,主导模式保留而主体光谱集中为零。 该结论基于预训练视觉与语言 Transformer 的实证诊断,其 token 空间奇异矩阵具有近乎均匀的广义特征角分布。 此结果解释了自注意力机制如何通过压缩剩余主体模式来保留少数主导方向。
基于 97 个 GIFT-Eval 任务对比显示,encoder-only 模型在较小 patch 下表现更优,而 decoder-only 模型呈 U 型趋势且最优 patch 随预测范围增大。 encoder-only 在超过 2048 上下文长度后增益递减,decoder-only 具备更低 CPU 延迟与训练成本优势。 研究表明架构与 patch 尺寸选择需依据预测范围和部署约束权衡。
采用多教师LLM构建多样推理池,结合学生自探索与Rank-Gain效用评估筛选最优轨迹。 在三个真实数据集上验证了该自适应蒸馏方法在推荐任务中的有效性与鲁棒性。
研究发现 LLM 形式化模型在生成程序前常通过推理链直接解题,这种类求解器行为(SLB)在 85% 的轨迹中出现,且占 24% 的推理 token,但通常与程序输出冗余。 SLB 在命令式 Python 中比声明式 Z3 或 PDDL 更常见,使用占位符隐藏问题数值可消除 97% 的 SLB 且不损失准确率,提示模型应通过程序生成过程而非仅输出结果进行评估。
研究对比 Qwen2.5-Coder 与 Devstral-Small 在 4-bit AWQ/GPTQ 量化下的编码表现。 未检测到统计显著准确率损失,但 AWQ 使 Qwen-7B 单次求解从 17 降为 0,循环求解从 10 升至 25。 编码智能体的量化鲁棒性评估应关注解题轨迹、工具使用及失败模式,而非仅最终准确率。
论文提出 FactorSpec 方法,将 JSON Schema 关系约束编译为推测草稿,解决结构化输出中模型常违反语义关系的问题。 该方法在 SGLang 中实现每步验证高达 10.5 个 token,解码速度比逐负载调优推测器快 1.43 倍,且每条记录均有效。 在语法基线之上,FactorSpec 每 GPU-秒可服务多达 13.9 倍的有效记录,显著提升生成合规性。
针对弱模型评分过零导致传统缩放律失效的问题,本文提出“提示缩放律”,通过特权信息生成不同难度基准以建立连续预测趋势。 在 Delphi 预训练梯度和多个后训练模型家族中,该方法将 GSM8K、AIME 和 HLE 的中位数预测误差从 21 个百分点降至 4.3 个百分点,并显著减少了区分模型性能所需的测试样本数量。
研究证实,在小规模模型中,语义聚类投票对数学问题能带来显著增益,但对开放式文本生成提升极其有限。 在包含250个提示词的基准测试中,Qwen2.5-3B等三个模型家族的数学准确率提升10至29分,而开放式文本评分至多仅增加0.30分。 绝大多数开放生成样本落入单一语义簇,增加解码温度未能恢复有效多样性,且导致质量净损失。
研究提出 ANCHOR 方法,通过 KL 锚定将 actor 固定于离线预训练策略初期,并在 FrankaKitchen 等任务中显著降低灾难性失败。该方法早期保留保守正则化以抑制崩溃,随时间退火约束并保留残差保守 critic 正则项。理论分析表明 KL 锚定有助于保持邻近分布下的 critic 可靠性。
该框架通过双层优化进行元学习,内循环使用轻量级 LoRA 适配器编码轨迹,外循环学习元参数;同时构建了包含 12,810 道数学题的 OpenParallelThinking 语料库。 在数学和 STEM 基准测试中,TTT-Consolidate 在匹配计算和运行时间的情况下,比最佳聚合基线高出最多 20 个百分点,且随着可用轨迹数量增加,其从失败轨迹中恢复的能力增强。
EarthJev 是一款 0.8B 参数模型,通过 Qwen3.5-0.8B 视觉编码器处理 Sentinel-2 多光谱数据,无需生成 token 即可回答遥感问题。 单题推理耗时 19.9 ms,比多模态语言模型快 4.3 至 8.7 倍;在 36,028 道测试题上准确率为 86.0%,校准误差(ECE)为 0.006。
在不可能语言样本上微调十亿参数大模型显示,更大模型在不可能与可能语言上表现相似。 百万参数模型在不可能语言上性能显著下降,且语义复杂度越高差距越大。 规模扩大使学习焦点从语法规则转向语义理解,十亿级模型对低层语言扰动的敏感度降低至三倍。
提出机器学习新定义,主张机器学习需满足真值条件与保障条件,即估计收敛于真值并在形式系统内推导该收敛。 证明该定义适用于有限理想语料库中的句子概率,而 i.i.d. 假设因导致循环推导不满足要求。 框架统一解释了现代混合 AI 在任务类型(概率预测与演绎证明)和系统组件(统计提议者与演绎验证者)上的双重混合特性。
针对循环语言模型,研究提出 LoReS 量化流水线,支持 Qwen-3.5 9B 等模型在 vLLM 中实现 8-bit 状态量化并提升解码速度。 该方案包含值轴比例分组、基于衰减的混合精度及随机舍入技术,通过保护慢衰减通道限制误差累积,相比 softmax 注意力模型更容易量化。
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配,在满足延迟约束的同时,将精度提升了 4.0% 至 18.3%。 相比静态方法,MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
研究提出一种结合预测型与重建型组件的混合异常检测方法,以无监督方式识别智能电表数据中的电动汽车用户。 方法利用时间序列的时序特征与随机表征信息,并与现有最先进算法在真实数据上进行了性能对比,验证了其优越性。
研究提出 CREDO 框架,利用中间证据恢复本地监督,优化 GRPO 强化学习中的信用分配机制。 该框架通过比较同一问题的多路径轨迹分配正信用,将结果策略权重向推理环节转移。在 MultiTQ 上,CREDO 将总体准确率从 78.0% 提升至 82.4%。
提出 See, Think, Use 协议,将视觉语言模型的作答追溯至感知、推理或使用阶段,每项目增加两问且无需访问模型权重。该协议在两个模型家族和六个数据集上显示,优先计算分配可接近最佳均匀策略成本,并优于随机分配。
研究发现深度神经网络在训练中常形成重尾幂律谱,最佳检查点通常位于谱指数 $\alpha\approx 2$ 附近。 该指数被提出作为区分稳定学习与过拟合的统计边界,并满足 Wilsonian 边际条件。 基于此提出的 SETOL 理论连接了 HTSR 与 Muon 等优化器,并激发了 WW-PGD 新扩展。
Scorpio 通过联合评分随机分组候选项,显著提升了自验证与聚合效果,推理成本降低 17-42% 且验证准确率最高提升 7 个百分点。 该分析基于排名误差的偏差-方差分解,指出额外计算降低方差但偏差存在平台期,Scorpio 在数学、代码等基准测试中均优于基线。 Scorpio 还改善了树搜索准确率(最高提升 10 个百分点)及聚合方法在代码任务中的扩展性(提升 11 个百分点)。
summary_zh: 提出 MedChain 语料库(182,573 条推理链)及 dCoT-SFT 监督方法,显著改善医学影像定位模型性能。 实验显示 27B 模型在 MedSG-Bench 达 77.24 mIoU 与 85.20 Acc@0.5,超越前最优模型 4.69 和 5.49 分。
论文提出元智能体Strategist,可跨任务进化推理策略。该智能体将策略编写为可执行代码蓝图并存储于共享库中,通过检索、生成、测试和修订迭代优化。在30个基准测试中,Strategist在24项上超过最强基线,平均准确率从74.0%提升至74.7%,且推理成本降低39%。生成的策略还能直接迁移至未见过的任务和其他模型,无需进一步搜索。
Claude 重新证明了对年长者接种新冠疫苗能最多挽救生命和人年的结论,其新证明基于风险函数倒数凸性,更短且更直观。 该证明仅依赖风险函数即可验证,适用于多数常见参数模型,并给出了预期寿命下限及凸性松弛形式。 这表明 AI 能够重新审视既定结果、简化理解路径并证明有价值的泛化结论。
summary_zh: Maia-2 棋类 Transformer 在固定棋局和权重条件下,通过调整技能条件可将预测从失误修正为最佳着法。 172 个棋类概念的探针准确度在不同技能条件下几乎不变;仅微调最终输出层可将最低技能区间的最佳着法准确率从 14.4% 提升至 82.8%。
研究者提出 SIMPLE 定律,通过四个参数解析 LLM 推理能耗,无需逐模型校准。在 13 个稠密 LLM 的 NVIDIA H100 实测中,其 MAPE 为 11.97%,误差比 SOTA 低 3.1-3.5 倍。
针对 BFCL 忽视中间调用副作用的局限,CAREFUL-Bench 引入效果感知协议。 在 11 个开源模型上,无裁判重放评分器使头部模型因未授权破坏性调用被扣 14.0 分,冗余步骤消耗多达 28% 输入 token。 当前基准无法区分请求澄清与获取破坏性操作许可,揭示了函数调用评测的核心盲区。
当前AI系统评估侧重最终答案、推理轨迹及效率,但未能证明推理在任务或证据变化时是否自适应。 作者区分跨任务与任务内适应性,以 ARC-AGI 为诊断案例,提出面向干预的评估方法。 该方法旨在测试抽象迁移和假设修正,支持评估系统在变化条件下的鲁棒性和可审计性。
研究提出四种基于策略信号的奖励机制,旨在增强模型对生成推理过程的依赖,解决链式思维解释与实际答案脱节的问题。 实验将梯度敏感性、置信度差距、渐进置信度增益及推理提示词交换奖励加入 GRPO 训练,在 GSM8K 和 StrategyQA 上评估两个小模型,发现部分配置提升了答案对推理编辑的依赖,但准确率与改写鲁棒性效果不一。
研究发现变量名与描述值匹配构成的语义锚定,使五个 LLM 在缺乏任务特定训练下,于九个科学领域的 20 个数据集上媲美或超越七个监督 ML 模型。 推理轨迹表明 LLM 利用预训练获取的领域知识作为先验;当示例矛盾累积时,预测向作为似然的示例转变,符合贝叶斯更新机制。 该研究揭示了 LLM 使用领域知识的机制,将其定位为数据稀缺科学领域的高效预测器。
语言模型可能从其他模型的输出中学到未明言的隐藏特征(如数字列表隐含的动物偏好),封禁表面特征token无法消除该特征,它会转移到格式仍允许的其他位置,这种现象被称为气球效应。
提出AttentionIndex,通过倒排索引分组与原生打分优化稀疏注意力检索,提升预填充吞吐。在GLM-5.3和DeepSeek-V4-Flash百万token场景下,预填充吞吐达1.3-1.8倍,较HiSA提升18.4个百分点准确率。
研究通过定位LLM中的价值敏感注意力头(value heads),提出推理时激活引导策略,无需更新参数即可实现对多个价值观或风格偏好的可控对齐。 该框架揭示了不同价值维度间的功能特化及冲突,并通过目标头消融实验验证了其因果重要性。
研究人员提出 RLiD 框架,通过直接优化可执行动作选项概率消除自回归生成,显著提升强化学习训练效率。在 ALFWorld 基准中,该框架以 12.7 H100 GPU-hours 算力达到 99.3% 成功率,优于 token-level RL 的 17.3 GPU-hours 与 86.6% 表现。
研究提出基于 VC 理论的诊断框架,评估 11 个 7-8B 模型在 360 道数学推理题中的自我评估能力。 结果显示自我评估表达力与校准存在系统性反向关系,JiuZhang3.0-7B 校准最佳,PVC-VUS 差距最小。 该框架为开发自我反思型 LLM 提供了诊断工具,揭示了该领域面临的根本性挑战。