多智能体 RL 何时能提升 LLM 工作流?流程、规模与策略共享的权衡
研究在 Qwen3 上训练三种 LLM 工作流,发现多智能体 RL 并非总优于单智能体 RL。 具体而言,仅在 Eval-Opt 工作流中,隔离策略(IP)的训练效果超过了单智能体 RL。 共享策略(SP)存在隐式超参数,调整其权重可匹配隔离策略的速度和峰值。
研究在 Qwen3 上训练三种 LLM 工作流,发现多智能体 RL 并非总优于单智能体 RL。 具体而言,仅在 Eval-Opt 工作流中,隔离策略(IP)的训练效果超过了单智能体 RL。 共享策略(SP)存在隐式超参数,调整其权重可匹配隔离策略的速度和峰值。
AutoREM 框架通过无调优的增强记忆机制,利用历史失败轨迹构建结构化文本经验记忆,实现了鲁棒优化模型的自动重构。 该框架无需领域专业知识或参数更新,经验记忆可迁移至不同基础 LLM,并在分布内、分布外数据集及多样化 LLM 上提升了重构的准确率与效率。
Switchcraft 是首个针对 Agentic 工作负载中工具调用正确性优化的模型路由器。该方案使用微调的 DistilBERT 分类器,在延迟预算内选择成本最低的模型,78.3% 的答案准确率比最佳单体模型成本低 59%。 研究发现大模型在工具使用任务上并不总是优于小模型,且名义上更便宜的模型可能因 token 密集输出导致总成本更高。
研究揭示语言模型在知识冲突和缺失知识下产生错误的高置信度输出,源于 MLP、QK 和 VO 组件的不同电路角色。 MLP 主要存储事实,QK 引导生成方向,VO 将内容写入残差流;单短语学习的事实易受上下文干扰,多短语学习则覆盖上下文。 在 12 个预训练模型中,幻觉率随规模下降,但剩余幻觉的高置信度比例上升,置信度与正确性之间的差距未因规模缩小。
summary_zh: 研究人员提出受工作记忆启发的 WMIP 探针,评估 18 个大语言模型在 3 至 100 次更新下的累积状态追踪能力。 模型在单步算术准确率 84.9%,但核心任务(3-7 次更新)仅 31.7%;50 次更新后准确率低于 10%,显示单步能力不保证累积追踪可靠性。
研究提出 DGM-Hyperagents(DGM-H)框架,通过集成任务智能体与可编辑的元智能体,实现元认知层面的自修改。该框架消除了对特定领域任务与自修改能力对齐的假设,支持在任意可计算任务上实现自我加速进步。
summary_zh: 提出动态混合精度路由框架(DMR),在三个长程智能体基准测试中实现 2.44x 解码加速,任务成功率与 FP16 相当。 DMR 通过轻量路由器识别关键步骤,结合嵌套量化使平均内存占用比 FP16 降低 39%,每步路由延迟增加不超过 0.11%,单步开销低于 1 ms。
该研究提出Mixture-of-Models架构,通过分布式推理组合独立训练的异构LLM,将Switch Transformer扩展至语义层。 系统使用N-Way Self-Evaluating Deliberation协议达成联合共识,结合Delphi方法、二次投票及推理时扩展范式。
研究发现,基于模型强化学习智能体在执行量子信息任务时,其内部规划器自发发展出时空特征零结构,能高保真重构闵可夫斯基度规的因果结构。智能体无需直接获取时空度规信息,仅通过最大化局部量子探针与量子场间的量子互信息来学习,其预测与行动揭示了时空几何源自操作性量子经验。
summary_zh: Sonar-MoE 在反向传播中即时更新专家张量,消除专家梯度驻留,显著降低显存占用。 微调 OLMoE-1B-7B 和 Granite-3.1-3B-A800M 时,峰值内存降低 19%-22%,单步耗时减少 17%-23%。
提出 Library of Layers (LoL) 架构,推理时动态排序 Transformer 层,实现参数复用与稀疏性的统一。 单超参数控制全局层库大小,在文本预训练中性能媲美 Dense、循环及 MoE 基线。 证明模型可通过层序执行不同策略,路由探针可高 AUROC 区分安全与不安全文本。
研究22个开源模型发现,首次回答会在残差流写入“承诺方向”,该方向相似度预测后续问题耦合度(ρ=0.43--0.85)。 消融共享方向后最多保留17%效应,且不同模型对同一方向的读取电路随规模和指令微调显著变化。 该机制揭示了模型内部状态如何在跨话题中持续影响推理稳定性。
MIRA 提出一种无需人工标注的训练框架,通过在训练过程中注入经过筛选的欺骗性视觉上下文,解决了现有强化学习框架中感知与推理脱节导致幻觉累积的问题。该框架包含基于组的反思触发机制,帮助模型自主检测并纠正视觉线索与逻辑约束间的矛盾。实验显示 MIRA 在域内推理基准上平均提升 7%,已在 NeurIPS 2026 被接收。
summary_zh: VideoEditor-MoE 是首个开源的复杂视频编辑混合专家(MoE)框架。基于 5B 编辑模型初始化,该架构扩展至 14B 和 56B 参数,每个 token 激活约 8B 参数,通过 MoE-Attention 在保持全局交互的同时扩展注意力容量。
8个 Voice-Native LLM 在353项任务中表现稳健,对挫败语音无准确率影响。模型仅3.1%正确识别挫败语调,却73%-100%识别愤怒;线性探针在两个开源模型解码出挫败特征(准确率0.67-0.69)。研究表明模型能感知声音中的挫败,但未将其用于提升表现。
MFF-Agent 结合大语言模型与 Rocq 证明助手,作为通用智能体支持跨数学领域的基础形式化任务。 该智能体整合任务分类、工具执行及验证反馈,在 Morse-Kelley 集合论等案例中验证了可行性。 研究澄清了统一操作框架与完全整合的数学基础之间的差距。
研究表明 Transformer 自注意力矩阵在等向得分几何下呈现光谱退化,主导模式保留而主体光谱集中为零。 该结论基于预训练视觉与语言 Transformer 的实证诊断,其 token 空间奇异矩阵具有近乎均匀的广义特征角分布。 此结果解释了自注意力机制如何通过压缩剩余主体模式来保留少数主导方向。
基于 97 个 GIFT-Eval 任务对比显示,encoder-only 模型在较小 patch 下表现更优,而 decoder-only 模型呈 U 型趋势且最优 patch 随预测范围增大。 encoder-only 在超过 2048 上下文长度后增益递减,decoder-only 具备更低 CPU 延迟与训练成本优势。 研究表明架构与 patch 尺寸选择需依据预测范围和部署约束权衡。
采用多教师LLM构建多样推理池,结合学生自探索与Rank-Gain效用评估筛选最优轨迹。 在三个真实数据集上验证了该自适应蒸馏方法在推荐任务中的有效性与鲁棒性。
研究发现 LLM 形式化模型在生成程序前常通过推理链直接解题,这种类求解器行为(SLB)在 85% 的轨迹中出现,且占 24% 的推理 token,但通常与程序输出冗余。 SLB 在命令式 Python 中比声明式 Z3 或 PDDL 更常见,使用占位符隐藏问题数值可消除 97% 的 SLB 且不损失准确率,提示模型应通过程序生成过程而非仅输出结果进行评估。
研究对比 Qwen2.5-Coder 与 Devstral-Small 在 4-bit AWQ/GPTQ 量化下的编码表现。 未检测到统计显著准确率损失,但 AWQ 使 Qwen-7B 单次求解从 17 降为 0,循环求解从 10 升至 25。 编码智能体的量化鲁棒性评估应关注解题轨迹、工具使用及失败模式,而非仅最终准确率。
论文提出 FactorSpec 方法,将 JSON Schema 关系约束编译为推测草稿,解决结构化输出中模型常违反语义关系的问题。 该方法在 SGLang 中实现每步验证高达 10.5 个 token,解码速度比逐负载调优推测器快 1.43 倍,且每条记录均有效。 在语法基线之上,FactorSpec 每 GPU-秒可服务多达 13.9 倍的有效记录,显著提升生成合规性。
针对弱模型评分过零导致传统缩放律失效的问题,本文提出“提示缩放律”,通过特权信息生成不同难度基准以建立连续预测趋势。 在 Delphi 预训练梯度和多个后训练模型家族中,该方法将 GSM8K、AIME 和 HLE 的中位数预测误差从 21 个百分点降至 4.3 个百分点,并显著减少了区分模型性能所需的测试样本数量。
研究证实,在小规模模型中,语义聚类投票对数学问题能带来显著增益,但对开放式文本生成提升极其有限。 在包含250个提示词的基准测试中,Qwen2.5-3B等三个模型家族的数学准确率提升10至29分,而开放式文本评分至多仅增加0.30分。 绝大多数开放生成样本落入单一语义簇,增加解码温度未能恢复有效多样性,且导致质量净损失。
研究提出 ANCHOR 方法,通过 KL 锚定将 actor 固定于离线预训练策略初期,并在 FrankaKitchen 等任务中显著降低灾难性失败。该方法早期保留保守正则化以抑制崩溃,随时间退火约束并保留残差保守 critic 正则项。理论分析表明 KL 锚定有助于保持邻近分布下的 critic 可靠性。
该框架通过双层优化进行元学习,内循环使用轻量级 LoRA 适配器编码轨迹,外循环学习元参数;同时构建了包含 12,810 道数学题的 OpenParallelThinking 语料库。 在数学和 STEM 基准测试中,TTT-Consolidate 在匹配计算和运行时间的情况下,比最佳聚合基线高出最多 20 个百分点,且随着可用轨迹数量增加,其从失败轨迹中恢复的能力增强。
EarthJev 是一款 0.8B 参数模型,通过 Qwen3.5-0.8B 视觉编码器处理 Sentinel-2 多光谱数据,无需生成 token 即可回答遥感问题。 单题推理耗时 19.9 ms,比多模态语言模型快 4.3 至 8.7 倍;在 36,028 道测试题上准确率为 86.0%,校准误差(ECE)为 0.006。
在不可能语言样本上微调十亿参数大模型显示,更大模型在不可能与可能语言上表现相似。 百万参数模型在不可能语言上性能显著下降,且语义复杂度越高差距越大。 规模扩大使学习焦点从语法规则转向语义理解,十亿级模型对低层语言扰动的敏感度降低至三倍。
提出机器学习新定义,主张机器学习需满足真值条件与保障条件,即估计收敛于真值并在形式系统内推导该收敛。 证明该定义适用于有限理想语料库中的句子概率,而 i.i.d. 假设因导致循环推导不满足要求。 框架统一解释了现代混合 AI 在任务类型(概率预测与演绎证明)和系统组件(统计提议者与演绎验证者)上的双重混合特性。
针对循环语言模型,研究提出 LoReS 量化流水线,支持 Qwen-3.5 9B 等模型在 vLLM 中实现 8-bit 状态量化并提升解码速度。 该方案包含值轴比例分组、基于衰减的混合精度及随机舍入技术,通过保护慢衰减通道限制误差累积,相比 softmax 注意力模型更容易量化。
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配,在满足延迟约束的同时,将精度提升了 4.0% 至 18.3%。 相比静态方法,MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
研究提出一种结合预测型与重建型组件的混合异常检测方法,以无监督方式识别智能电表数据中的电动汽车用户。 方法利用时间序列的时序特征与随机表征信息,并与现有最先进算法在真实数据上进行了性能对比,验证了其优越性。
研究提出 CREDO 框架,利用中间证据恢复本地监督,优化 GRPO 强化学习中的信用分配机制。 该框架通过比较同一问题的多路径轨迹分配正信用,将结果策略权重向推理环节转移。在 MultiTQ 上,CREDO 将总体准确率从 78.0% 提升至 82.4%。
提出 See, Think, Use 协议,将视觉语言模型的作答追溯至感知、推理或使用阶段,每项目增加两问且无需访问模型权重。该协议在两个模型家族和六个数据集上显示,优先计算分配可接近最佳均匀策略成本,并优于随机分配。
研究发现深度神经网络在训练中常形成重尾幂律谱,最佳检查点通常位于谱指数 $\alpha\approx 2$ 附近。 该指数被提出作为区分稳定学习与过拟合的统计边界,并满足 Wilsonian 边际条件。 基于此提出的 SETOL 理论连接了 HTSR 与 Muon 等优化器,并激发了 WW-PGD 新扩展。
Scorpio 通过联合评分随机分组候选项,显著提升了自验证与聚合效果,推理成本降低 17-42% 且验证准确率最高提升 7 个百分点。 该分析基于排名误差的偏差-方差分解,指出额外计算降低方差但偏差存在平台期,Scorpio 在数学、代码等基准测试中均优于基线。 Scorpio 还改善了树搜索准确率(最高提升 10 个百分点)及聚合方法在代码任务中的扩展性(提升 11 个百分点)。
summary_zh: 提出 MedChain 语料库(182,573 条推理链)及 dCoT-SFT 监督方法,显著改善医学影像定位模型性能。 实验显示 27B 模型在 MedSG-Bench 达 77.24 mIoU 与 85.20 Acc@0.5,超越前最优模型 4.69 和 5.49 分。
论文提出元智能体Strategist,可跨任务进化推理策略。该智能体将策略编写为可执行代码蓝图并存储于共享库中,通过检索、生成、测试和修订迭代优化。在30个基准测试中,Strategist在24项上超过最强基线,平均准确率从74.0%提升至74.7%,且推理成本降低39%。生成的策略还能直接迁移至未见过的任务和其他模型,无需进一步搜索。
Claude 重新证明了对年长者接种新冠疫苗能最多挽救生命和人年的结论,其新证明基于风险函数倒数凸性,更短且更直观。 该证明仅依赖风险函数即可验证,适用于多数常见参数模型,并给出了预期寿命下限及凸性松弛形式。 这表明 AI 能够重新审视既定结果、简化理解路径并证明有价值的泛化结论。
summary_zh: Maia-2 棋类 Transformer 在固定棋局和权重条件下,通过调整技能条件可将预测从失误修正为最佳着法。 172 个棋类概念的探针准确度在不同技能条件下几乎不变;仅微调最终输出层可将最低技能区间的最佳着法准确率从 14.4% 提升至 82.8%。