BehaviorTrace 揭示在线强化学习中训练数据归因的局限性
针对在线 RL 微调中的行为归因问题,研究者开源了评测框架 BehaviorTrace。在 Qwen2.5-1.5B 模型测试中,仅按梯度大小排序即可达到 4.2-4.5 倍随机水平,且流畅度预测效果优于所有梯度方法。
针对在线 RL 微调中的行为归因问题,研究者开源了评测框架 BehaviorTrace。在 Qwen2.5-1.5B 模型测试中,仅按梯度大小排序即可达到 4.2-4.5 倍随机水平,且流畅度预测效果优于所有梯度方法。
EngramEdit 利用条件记忆实现 LLM 解耦知识更新,在 chain-of-thought (CoT) 提示下达到接近完美的编辑成功率。 该方法通过联合更新共享 n-gram embeddings 来匹配目标表示,并在无关知识方面保持原有能力。实验显示其准确率是最强基线的近三倍,且修订知识可用于未见表达及多跳推理。
混合 LLM 架构通过结合不同注意力模块提升长上下文效率与长度外推性能。 研究发现滑动窗口注意力(SWA)混合体在长度外推中表现更好,而线性注意力(LA)混合体在长上下文持续预训练中受益更多。 提出的滑动窗口线性注意力实现 16 倍免训练长度外推,并保持 NIAH-SK1 64k 上下文 100% 准确率。
Shaer 是一款受控阿拉伯古典诗歌生成框架,结合自然语言描述、格律子形式与目标半诗节数量实现联合控制。 该框架基于 Yehia-7B 进行 QLoRA 监督微调,在 116,032 首诗构建的语料上实现 95.17% 基础格律准确率和 91.75% 格律子形式准确率。 相关代码、模型和数据集已公开,评估显示其生成内容无训练语料副本,具备竞争性语义与文学质量。
InsClaimBench 引入 3780 个案例评估 6 款 LLM 的保险理赔裁决能力。 原子规则准确率最高 95.48%,但联合决策与金额准确率降至 47.54%--73.15%。 结果揭示了决策链中可靠性随层级递进的渐进式损耗。
提出无 Rollout 自蒸馏方法 SAPD,通过步骤对齐的特权蒸馏生成监督信号,在数学推理基准上平均超越 SFT 和标签平滑。 该方法将演示转化为步骤对齐的分布监督,相比离策略基线实现约 2 倍训练循环加速,且大幅保留代码领域的泛化性能。 验证了精心构建的监督可让完全离策略后训练成为具有竞争力且计算高效的替代方案。
基于 120 个微调模型,Persona 层级模型揭示了微调行为在上下文间的泛化规律。泛化窄度与训练上下文及默认 Persona 相似度呈正相关(Qwen3-4B 模型 Pearson r=0.72)。
论文提出DataCanvas-EDU,一个面向商业分析教育的AI智能体框架,通过教师指导生成合成数据,解决公开数据集易导致大语言模型训练数据污染及教学灵活性不足的问题。
针对强化学习中代码优化信号被噪声淹没的问题,研究提出 DMC-Optim 基准及三阶段适配 GRPO 方法。 核心事实:该方法在 DMC-Optim 上提升 Qwen 2.5 7B 的 strict top-50% pass@1 从 18.0% 至 31.3%,CWM 32B 从 30.7% 至 50.4%。
研究提出 SBD 框架,将基于广播的信用分配推广至一般可微损失族。该框架确立了输出分数与隐藏层激活的正交性原则,统一了交叉熵、Bregman 散度等标准损失。 在 CIFAR-10 和 Tiny ImageNet 实验中,SBD 显著优于现有广播方法,且分数向量扩展技术进一步提升了性能。
15种针对恶意微调的LLM防御机制在持续训练下普遍失效。 研究人员测试了6种防御,在Llama-3.1上高学习率导致防御模型有害性接近无防御模型。 现有防御不能视为持久保护,需在后续训练中维持。
提出 Stackelberg Alignment 框架,将指令选择转化为自适应课程以优化多 LLM 协作学习。 框架采用 EXP3 bandit 作为领导者分配采样预算,LLM 群体作为跟随者通过 DPO 或 GRPO 基于 Elo 式声誉加权互评学习。 在 12 个基准测试中,该方法在宏观平均指标上超越最强训练时基线最高 7.4%,超越最佳静态推理基线 12-25%。
summary_zh: 研究者提出决策理论框架,将大型语言模型决策损失分解为信念形成和决策执行两个组件。 基于合成基准测试,评估前沿及开源模型在概率推理上的表现,并检验强化学习干预的有效性。
研究提出 SeOPD 框架,通过在线策略蒸馏让 LLM 在不依赖外部特权信息的情况下提升能力。 该方法利用模型深度思考模式生成的思维链作为内部监督信号,优化非思考模式并增强整体性能。 跨 LLM 和任务的广泛实验验证了该自我进化方法的有效性。
研究发现,基于 RL 训练的 Qwen3.5-9B 教师模型在 Agentic 等三域中经 OPD 蒸馏出的学生模型性能优于 SFT 教师,最高领先 4.27 分。 RL 教师在 Agentic 域仅偏移 44.44% 参数位移,而最优 RL 学生恢复了 115.00% 的教师增益并超越教师。 较小参数位移更利于 OPD 学习,支持 RL 教师更适合模型合并的假设。
SKT 利用 2,000 个公开技能生成了 4,000 个任务包和 27,164 个验证轨迹,用于提升语言模型智能体的技能使用能力。 该管道通过规则与智能体结合的验证机制筛选高质轨迹,并基于独立测试集构建了 SkillEval 基准。 实验表明,基于 SKT 轨迹的监督微调能一致提升模型的技能使用表现。
提出 IGRPO 框架,通过中间状态信息增益动态分配计算预算,优化多轮搜索智能体的强化学习过程。 实验表明,IGRPO 在 7 个搜索增强问答基准上,使 3B 和 7B 模型在相同 Rollout 预算下平均准确率优于强基线。 相关代码已开源。
为解决 RLVR 中强新颖性激励导致模型质量下降的问题,该研究提出 Exploration-Distillation(ExpDis)框架。 该框架通过“探索-蒸馏”交替训练解耦探索与优化,在 7 个数学推理基准和 2 个模型族上,ExpDis 在相同墙钟时间预算下优于 DAPO。 其 pass@k 性能提升表明,该模型能生成更多样化的正确解题路径。
研究人员提出激活感知权重张量化(AWT),一种免训练的校准前置处理器,通过激活导出的对角缩放改进 LLM 的 TT/TTN 压缩。 在 Llama 3.1 8B、Ministral 8B 和 Qwen2.5 7B 上,AWT 在 2-6 倍压缩率下闭合了 12-35% 的 WikiText 困惑度差距,且增益可迁移至 HellaSwag 等下游任务。
summary_zh: RollVerify 提出一种基于部分 rollout 的轻量级强化学习框架,通过验证和修复样本保护模型精度。 该框架引入偏移策略移位指标 OPS,在序列和令牌级别识别并截断无效后缀,实现接近 on-policy 训练的准确性并降低训练成本。
提出 CoNN-AL 框架,将基于流的主动学习结合至协同去噪自编码器,针对部分逆向设计问题优化标签使用效率。 在包含 90 万设计的汽车玻璃数据集上,仅用 2 万标签即达到 0.967-0.982 的 R-squared,比随机采样节省 30-40% 标签。 该研究同时公开了数据集,以支持未来数据驱动设计的研究。
研究发现 LLM 持续训练中的灾难性遗忘集中于新语料中罕见 token 的输出嵌入层。 通过提高 Adam 优化器输出投影层的 epsilon,在 160M 至 12B 参数模型中消除了 39.4% 到 67.9% 的遗忘。 该干预可与 replay 结合使用,无需逐模型调参即可保护目标学习,且必须在训练期间实施。
MIRROR 框架通过自蒸馏实现 LLM 个性化偏好内化,在生成质量上优于 SFT 基线。 引入 MIRROR-F 插件强化内容生成并保留用户表达,在三项基准测试中展现更少灾难性遗忘。 性能提升适用于不同模型规模与场景,确立了其在个性化生成任务中的领先优势。
深度学习在气象预测中取得突破,自回归模型在短期至季节预测中性能媲美动力学模型。 其向气候模拟延伸需满足两项要求:外部强迫代理须支持独立干预,且在分布外制度下进行鲁棒性测试。 AI 可通过推进目标变量和延长步长来减少求解时间,降低本地灾害评估成本。
提出协作推理蒸馏(CRD)框架,通过教师间交互互评、细粒度步骤质量评估及连贯性感知拼接,增强小模型推理能力。 CRD-4B模型在MATH-500获97.3%、AIME'25获70.3%,仅用5万训练样本,数据集规模比同类模型小12倍。 该研究已被NeurIPS 2026接收,解决了标准蒸馏依赖结果奖励无法区分有效推理与侥幸猜测的问题。
summary_zh: OnlineQAT 提出两阶段框架,在 Qwen3-1.7B 上以 W3A16 取得 57.28 的平均分,领先 ReasoningQAT 2.90 分。
SLBF 提出一种无数据的 MoE 权重重构方法,通过专家共享的低秩基实现更丰富的跨专家共享,并在 5 个 16B 至 122B 参数的 MoE 架构上一致优于专家剪枝、合并及重建方法。 方法利用秩-k 基共享降低重构误差,事后规范修正在不损失表达能力的前提下消除冗余参数,论文已被 Findings of EMNLP 2026 接收。
CurveTQ 提出无旋转 Trellis 量化方法,将 Hessian 对角线权重引入 Viterbi 分支度量。 在 4-8B Instruct 模型上,CurveTQ 于 2-bit 下平均准确率比 QTIP 和 Proteus 高 1-3 点,解码速度最快。 该方法还实现了 35B MoE 模型上首个 Trellis 编码结果。
提出 GraphOPD 方法,首次将图结构增强引入 LLM 智能体的在策略蒸馏,通过依赖图随机游走评分替代单纯基于师生分歧度分配监督信号。 该方法利用环境状态变更记录构建步骤依赖关系,在 ALFWorld、WebShop 和 SearchQA 基准上对比 11 个基线,最优提升达 +5.8 pp,且跨领域工具推理有效。
Knowledge Weaver 是强化学习框架,训练 LLM 智能体从轨迹中提取可复用知识。 结合 token 级互信息反馈与边际成功奖励,限制冗余重叠,提升知识库效用。 在 ALFWorld 和 WebShop 任务中,平均成功率达 54.0% 和 42.0%,较 GRPO 分别高出 16.9 和 18.7 个百分点。
CanonQ 框架通过解耦源规范化与任务适配,实现了 W2A4KV2 极低比特大语言模型压缩。 在 LLaMA3 系列模型上,CanonQ-Omni 使 WikiText-2 困惑度降低 14.28 倍,零样本平均准确率提升 57.9%。该优势在 Qwen3、代码生成及数学推理任务中均有体现,显著优于现有量化基准。
研究人员提出一种基于认知不确定性的拒判策略,以提升医疗器械制造中自动化缺陷检测的可靠性。该方法结合知识图谱处理异构数据,并设定阈值对高不确定性预测进行拒绝。 在266,170份真实FDA MAUDE报告数据中,10%的拒判率使分类错误降低48%;在合成基准测试中,9%的拒判率将风险最高降低63%。
Socio-Foundation 模型基于约 1000 万条构建的训练语料,在实验中较其 Qwen3-8B 基座提升 11.0 分,性能接近 GLM-5.2 等前沿模型。 该模型采用三阶段流水线:通过 DAPO 学习任务专家,利用离线策略蒸馏整合能力专家,并采用 MOPD 进行统一。
针对语义分割数据集蒸馏中的长尾类别不平衡与像素级对齐难题,D3S2 提出了一种两阶段扩散引导框架。 该框架结合类别平衡掩码选择与扩散图像合成,在 1% 压缩率下,于 ADE20K 和 COCO-Stuff 数据集使用 Mask2Former (Swin-S) 分别取得 24.99% 和 35.49% 的 mIoU。 实验结果表明 D3S2 显著优于随机选择基线,代码已公开。
研究显示X平台推荐系统通过优化相关性,意外构建并使用了反映用户左右政治立场的嵌入向量。 研究基于250万次“关注谁”推荐记录,为682名志愿者画像并重建了覆盖26,509个账号的嵌入近似。 分析发现该嵌入中存在与政治意识形态相关的方向(皮尔逊rho值0.887),且移除该维度后推荐结果更多样化,但准确度有所降低。
JudgeProfile 框架将 LLM 评估拆解为感知和优先级两个维度,通过重新加权将参考标签的平均留出集一致性从 66.48% 提升至 71.97%。 该框架在包含 50,013 个响应对的数据集上评测 21 个 LLM 评委,结果显示其性能优于微调及评分标准提示,证实引导主观性需同时关注感知内容与优先级策略。
研究团队提出 MLToolBench 工具集及 SPICE 奖励机制,通过 SFT 与 RL 管线训练模型掌握诊断工具使用。 在 80 个合成任务训练后,Qwen3-8B 的域内成功率从 24.8% 提升至 52.4%,Qwen3.5-35B-A3B 从 35.6% 升至 69.2%,并提升了域外泛化能力。
提出 NeMo-DCR 实现万亿参数模型下位级精确的增量压缩重拟合,解决跨集群权重同步瓶颈。在 1T 模型 3% 变更率下,将重拟合时间从 87.5 分钟缩短至 150 秒。相比全量检查点传输,30B 至 1T 模型的重拟合速度提升 12 至 40 倍。
SufficientPlan 框架在视觉世界模型中显著降低搜索预算与规划延迟,同时保持竞争性任务性能。 该框架通过 PSBC 组件认证特定模型-任务的缩减预算,利用 SCR 组件在搜索迭代中复用静态上下文,无需修改预训练模型。
论文提出 EigenDEXplore,通过在独立关节空间噪声上叠加人类导生的特征向量扰动来诱导相关性探索,保持动作空间不变。 该方法在多种灵巧手上表现优于关节空间和习得动作空间基线,在抓取、手内重定向及接触丰富操作中有效。 增益跨越非结构化与参考引导强化学习、轨迹优化及仿真到实机部署,且奖励塑形和课程设计要求少时提升最大。