智能体在线策略蒸馏如何隐式重塑 LLM 的 ReAct 模式
研究揭示在线策略蒸馏会重塑大语言模型智能体的 ReAct 交互模式。 跨域蒸馏产生显著迁移效应:通用推理监督将数学工具尝试率从 70.4% 降至 14.4%,但准确率从 16.7% 提升至 38.0%;而 ALFWorld 监督导致 $\tau^2$-bench 准确率从 41.5% 骤降至 6.6%。
研究揭示在线策略蒸馏会重塑大语言模型智能体的 ReAct 交互模式。 跨域蒸馏产生显著迁移效应:通用推理监督将数学工具尝试率从 70.4% 降至 14.4%,但准确率从 16.7% 提升至 38.0%;而 ALFWorld 监督导致 $\tau^2$-bench 准确率从 41.5% 骤降至 6.6%。
针对贝叶斯优化中代理-采集配置选择依赖问题状态的情况,提出任务无关的 LLM 驱动元控制器 STaSBO,将数值计算与策略规划解耦。 STaSBO 包含策略规划与配置选择两阶段,利用结构化记忆优化轨迹。在 12 个合成数学及 10 个工程任务中,平均排名 2.17 和 2.60,优于最强基线的 4.08 和 4.10。
研究发现扰动不一致性、语义熵和解长度等置信度信号与群体问题难度呈强相关,优于 token 级不确定性。 即便限制在模型答对的问题子集,这些信号仍表现出难度区分能力,可作为推理时决策的代理指标。
AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。
针对 NVFP4 精度不足,研究提出梯度引导量化方法 FlipQuant。 通过端到端梯度学习二进制格式映射,支持 SM100 硬件原生内核,GEMM 开销中位数为 1.7%。 在 6 个语言模型测试中,FlipQuant 平均闭合了 NVFP4 与 BF16 之间 42.5% 的困惑度差距。 ```
研究探讨临床变量在基于双参数MRI诊断临床显著性前列腺癌AI系统中的作用,基于权重固定的PI-CAI-2B模型添加43项临床变量。 数据涵盖4,540名患者的6,022个MRI病例,4,834个病例用于内部测试,主要终点为内部测试集中AUROC差异,并在5个外部队列验证。
MeltKV 提出内存对齐变比特打包向量量化框架,用于压缩长上下文 LLM 的 KV 缓存。 该框架通过自适应分配分组 Key 通道的比特宽度并共享 Head 级码本,将 KV 表示压缩至 sub-4-bit 至 1 bit 水平。 在可比困惑度下,MeltKV 较 SOTA VQ 方法降低 48.1% 内存使用率和 52.9% 推理延迟。
研究团队提出 Partial-Order Likelihood Policy Optimization (POLPO),利用帕累托主导解决多验证器场景下的策略优化难题。该方法扩展了直接偏好优化的列表似然,无需构建聚合标量奖励,直接学习验证产生的比较关系。在代码生成与指令遵循实验中,POLPO 展示了比标量奖励训练更高的学习效率及完整需求满足率。
HiMX 提出混合尾数框架优化 4-bit 权激活量化(W4A4)LLM 推理,将 Qwen3-8B 平均端到端精度损失从 2.38 降至 1.77。 框架利用 S1P2 与 E2M1 互补特性,针对不同分布权重和激活优化量化,实现统一整数 MAC 阵列。 该异构尾数表示方法在 Qwen3-30B-A3B 上将精度损失从 2.23 降至 1.85,展现 W4A4 推理潜力。
研究人员提出分层强化学习框架 Skill-LR,利用视觉语言模型识别子目标,并通过 LLM 生成匹配的潜在奖励公式。 该框架基于两阶段提示过程,使奖励信号随分层计划演化,降低了时间方差并提升了样本效率。 在 MiniGrid 和 BabyAI 的多阶段基准测试中,Skill-LR 比 RUDDER 等基线收敛更快且更可靠。
该研究提出 Check Token 机制,首次在语言模型生成流中建立内置自我校验。模型通过输出功能标记触发检查、定位、截断与重写,该标记不携带推理内容。 实验基于 Qwen3-32B 和 Qwen3-Next 进行,在 HMMT25 任务上带来 10.8 pp 性能提升,开销系数为 1.13x,token 效率是 Best-of-8 的 88 倍。
研究在6个开源LLM中发现,信念状态可从残差流激活中线性解码,峰值R²值达0.83-0.99。 该结论基于40个非平凡信念结构的隐马尔可夫模型数据,并通过修补与转向干预验证了功能相关性。 结果在表征层面证明,开源LLM的上下文学习近似于对上下文推断生成模型的最优贝叶斯预测。
对 1370 万条 Goodreads 评论的分析表明,推荐系统的满意度信号与 PERMA 幸福指标存在显著差异,且内容特征与幸福的关联强度更高。 研究区分了即时享乐型与持久意义型幸福,发现不同内容语言特征分别与之相关,表明仅基于满意度进行优化可能无法真正促进用户福祉。
研究发现大语言模型中存在基于对比的“颗粒度轴”,该轴在角色空间的主导几何中保持稳定。在Qwen3-8B模型中,该轴与第一主成分(PC1)的余弦相似值为0.972,解释了52.6%的方差。
研究者揭示多模态专家混合模型存在“看见但不思考”现象,即模型能准确感知图像内容,却在后续推理中失败,而纯文本场景下能正确解题。 分析发现视觉专家与领域专家存在层级分离,图像输入在中层诱导了显著的路由偏差,导致任务相关的推理专家未能充分激活。 通过设计路由引导干预方法增强领域专家激活,在六个基准测试中取得一致提升,复杂视觉推理任务最高提升3.17%。
summary_zh: Terminator 提出了一种 LLM 推理早期停止策略,平均削减 14%-55% 的 CoT 长度,且不影响性能。 该策略利用首次出现最终答案的位置构建最优推理长度数据集,在 MATH-500、AIME 2025、HumanEval 和 GPQA 数据集上超过现有 SOTA 方法。
该研究提出一种黑盒可解释性框架,通过原子概念编辑学习可验证宪法,从而解释和控制模型行为。在数学推理任务中,干扰变量使 GPT-5 易混淆,但对 Gemini 2.5 和 o4-mini 影响有限;在文生图任务中,GPT-Image 侧重语法合规,Imagen 4 则优先氛围一致性。使用学习得到的宪法控制模型行为,成功率平均提升 1.86 倍。代码已开源。
研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。
SmartThinker 提出步骤级Token分配框架 SCPO,通过在线估计各推理步骤对正确率贡献来学习选择性保留或压缩,解决现有全局长度惩罚忽视步骤结构的问题。 该框架引入“推理密度”定义以平衡不同价值步骤的压缩压力,并结合长度偏差修正和难度自适应裁剪提升训练稳定性,在9个域内及域外基准测试中实现了更优的准确率与效率权衡。
论文提出多域对比策略优化(MCPO),通过对比学习解决混合域强化学习中不同领域能力相互冲突的问题。 该方法在关键推理片段定位交互单元,利用互补对比目标实现跨域知识共享与域内巩固。MCPO 比现有方法平均高 3.17 分,并超越单域训练 1.05 分。
研究发布Metacognitive Profile Atlas,收录33个前沿LLM在1,500个MMLU条目上的答案及口头置信度数据,共46,157条有效观测。
针对标准预训练语言模型在对话情感识别中缺乏可解释性且易将少数类误判为中性类的问题,研究者结合模糊指纹技术提出了解释性方法。该方法通过模糊相似函数匹配情感原型,实验显示减少了中性类过度分类,并获人类评估支持,在达到最先进水平的同时揭示了分类过程。
研究引入分层基准 SteerEval,在语言特征、情感和人格三个领域评估 LLM 可控性,发现控制力在细粒度层级显著退化。 SteerEval 将行为意图连接至具体文本输出,划分为表达内容、表达方式和实例化三个层级,为安全可控的 LLM 行为提供解释性框架。
该研究提出统一框架,将 LLM 的 LoRA 微调与激活干预解释为控制信号诱导的动态权重更新。 分析表明,强操控在提升目标概念倾向(preference)的同时,可预测地降低生成连贯性(utility)。 基于此,新方法 SPLIT 在增强操控效果的同时更好地保留效用,代码已开源。
CD4LM 提出可组合框架加速扩散语言模型,在 GSM8K 上实现 5.18 倍加速且保持准确率,叠加缓存加速器后达 9.73 倍。 核心组件 Discrete-Space Consistency Distillation (DSCD) 训练轨迹不变学生模型,结合 ConfidenceAdaptive Decoder 解决静态到动态不匹配。
研究提出利用医疗共识指南生成黄金标准推理链,对 MIMIC-III 进行大规模监督微调。 应用 SOFA、SAPS-II 和 Sepsis-3 指南显示,小型微调模型在推导正确性和 F1 分数上显著优于大型单次提示模型。 单次提示难以产生可靠的逐步推理,且模型在预测未来临床变量时性能普遍下降。
潜在晶格通过引入沿时间递归运行的逐层横向潜在流,在 406M 参数模型上验证困惑度从 15.41 降至 14.40。 该架构与超连接等技术组合可将困惑度进一步降至 13.61,且在混合架构中优于更大原生状态基线。 研究确立持久逐层状态是扩展语言模型计算的互补轴。
研究揭示 Qwen3-VL 通过绑定头、光标信号、选择步骤和注视头四部分机制规划视觉回答顺序,该机制在 2B 至 32B 模型中均成立。 因果干预验证显示该机制适用于不同输入格式、自然照片及多种语言,binding、relay 和 gaze 头存在于所有测试模型尺寸中。 此发现为研究模型在长程多步任务中的规划过程提供了新路径。
一项覆盖20个大语言模型的研究发现,当多个规则独立触发时,解释中引用的单一正确理由通常无法帮助用户成功改变结果。 在7个移植自访问控制和福利资格系统的规则系统中,6个显示出“修复正确理由后决定仍为拒绝”的高频现象;各模型识别该缺陷的能力接近随机。 研究指出,仅当询问“按解释操作是否有效”时强裁判模型才能发现缺陷,且推理型模型在含4个以上独立理由的拒绝中仍频繁失效。
研究发现嵌入映射中远端方向难以生成文本,LLM 解码器在展示邻居时能复现目标,但在无邻居搜索中表现优于最近项,对远端点则效果甚微。 k-means 单元中,密度间隙评分对预测增长无显著贡献,Steam 新品中更孤立的游戏评价略好,arXiv 论文 LLM 续写比引用源更贴近原文。 揭示真实后续标题会引导创意方向,评审、预言机和距离反馈分别增加了 0.13、0.08 和 0.34 的方向转向幅度。
研究提出任意时刻有效的 PAC-Bayes 证书,解决自适应测试时缩放中校准选择后的统计推断问题。 针对有限预算与验证器网格,罚项为 $\log M/n$;在 GSM8K 上,该证书在 5% 名义水平下始终优于最佳选择误差,全测试集误差紧化至 0.109。 提供了一种无分布假设的轻量级方法,用于报告自适应推理系统的风险与计算成本。
TRACK 系统结合时序编码器与小语言模型,在 15 类多负载模拟基准上实现超 95% 的故障类别准确率,优于 58% 的基线。 该系统在设备端运行,通过调用工具进行可验证的物理计算,并利用基于评分标准的框架评估报告的结构与诊断准确性。 该方案避免了昂贵的 API 调用,解决了专家人工检查无法扩展到大量部署单元的问题。
MolReps 是一个生成 9,600 组问答对的管道,用于在多种分子表示间进行转换、归一化及 2D 结构识别。 对 MolQwen3-4B-Instruct 和 MolQwen3-VL-4B-Instruct 进行后训练,在分子重叠测试集的 InChIKey 匹配率分别从 4.01% 和 7.11% 提升至 75.13% 和 73.14%。
审计显示最廉价可行LLM路由器在91.82%机会中部署,却导致32.22%服务合同违约。 引入菜单感知路由承诺框架MARC及其实用变体MARC-P,将条件失败率降至0.73%并维持85.79%部署率。 研究确立部署承诺为连接路由评估、服务可靠性与推理成本的独立运营决策。
针对 GPTQ 贪心优化中连续缩放与离散整数分离的瓶颈,JointQ 提出了一种联合缩放与整数量化的方法。通过在组量化中利用 Hessian 矩阵重新计算每组最优缩放,并在所有比较中保持校准误差不高于 GPTQ,实现了对 GPTQ 解决方案的改进。
提出 Qualitative Variance Audit Framework,一个八步方法用于审计 LLM 生成的类别系统。 该方法比较模型自创和共享参考编码本在受控输入下的重复应用与代码分布。
研究提出基于文档可区分性和维度的相图,表征语言模型表示几何。 分析 8 个训练模型和 156 个未训练模型的推理流,发现训练模型稳定在相图中心区域。 将 Pythia-1.4B 的训练过程解释为相变,揭示表示几何与模型行为的关系。
研究者提出 Multi-Branch Transformer (MBT) 架构,通过并行组合全 Transformer 分支,在 0.8B 至 2.1B 参数规模下优于标准 Transformer。
研究比较 LLM 智能体在测试时通过上下文学习(ICL)与权重更新适应环境的机制。使用 Qwen3.5-9B 在 SWE-bench Verified 等 109 个任务上评估,ICL 将平均成功率从 28.8% 提升至 49.4%。
预训练优化器的增益不会自动迁移到 KL 蒸馏。 研究对比 AdamW、AdaGrad、SOAP 及 Muon 在 Qwen 模型蒸馏中的表现,发现无一致优于 AdamW 的质量与时间权衡。 AdamW 通常验证 KL 最低,SOAP 增加显著训练耗时,结论依具体可行配方而定。