Reward Budgeting 缓解 LLM 推理强化学习中的过早收敛
Reward Budgeting 是一种即插即用的优势构建方法,能缓解 LLM 推理强化学习中的过早收敛现象。 在 Qwen3-8B 和 Llama3.2-3B-Instruct 上,该方法稳定提升基线性能,AMC23 提升达 +12.50,AIME24 与 AIME25 提升达 +10.00。 该研究被 NeurIPS 2026 接收,证实无需显式保持熵即可获得显著增益。
Reward Budgeting 是一种即插即用的优势构建方法,能缓解 LLM 推理强化学习中的过早收敛现象。 在 Qwen3-8B 和 Llama3.2-3B-Instruct 上,该方法稳定提升基线性能,AMC23 提升达 +12.50,AIME24 与 AIME25 提升达 +10.00。 该研究被 NeurIPS 2026 接收,证实无需显式保持熵即可获得显著增益。
**Article Analysis:** 1. **Title:** "The Unsampled Truth: Quantifying Prompt Artifacts in LM Psychometrics" 2. **Source。
研究提出利用权重空间算术提取“量化向量”,实现零样本迁移量化鲁棒性。在 3-bit 设置下,该方法将 PTQ Top-1 准确率提升高达 60%,且无需接收方进行量化感知训练。 在超过 30 个视觉与语言模型任务中,该向量在捐赠与接收任务差异显著时仍能带来收益。研究还严谨证明了量化向量定义良好且不受重参数化对称性影响。
论文提出 HyCNN,结合 Maxout 与 ICNN,保证输入凸性且比 ICNN 用指数更少参数逼近二次函数。 在凸回归、插值及高维最优传输实验中,HyCNN 通常优于 ICNN 与 MLP。 该模型在单细胞数据等场景中表现更佳。
新模型通过 Teacher-Student 框架在稀疏观测下实现跨时空泛化,重构了孟加拉国 2003-2022 年高分辨率地下水深度。 Student 模型在未见年份与地区验证中 R2 分别达 0.93 和 0.70,无需当代现场测量即可重建水位变化。 研究揭示全国地下水补给年均下降 1.10 mm/yr,55.6% 区域补给显著减少,为数据稀缺含水层监测提供可扩展方案。
ThermoLLM 提出一种基于 LLM 的多区域 HVAC 控制框架,通过在五个区域、六种气候季节场景中与标准方法及最新 SOTA 基线对比,持续取得最佳的能效-舒适度权衡,并在所有场景的 TOPSIS 排名中优于所有基线。
SKIM 提出首个针对结构化生成场景的 LLM 智能体剪枝与蒸馏框架,在工具调用基准中 consistently 提升精度。框架将 token 位置划分为 context、decision 和 format 三类,结合类别感知剪枝敏感度评分与 on-policy 蒸馏目标。在高稀疏度区间,SKIM 的性能优势尤为显著,展示了类别感知压缩在部署时语法约束智能体中的潜力。
EnergyBench 对 11 个模型族的 18 个时间序列基础模型进行每日实时评估,采用冻结协变量以统一信息集。 加入数值天气预报协变量后,基础模型误差降低 37-51%,零样本表现匹配或优于同数据训练的 LightGBM。 电网运营商在风电与光伏预测上仍保持 16-22% 的误差优势,负荷预测差距缩小至 4-6%。
研究者训练 Transformer 自编码器将 LoRA 身份适配器映射至潜在空间,发现该表示比权重空间对位移更鲁棒,且能容纳混合秩适配器。 该工作验证了学习得到的非线性潜在空间在采样、编辑及逆运算中保留了权重空间能力,并支持将不同架构的适配器视为统一数据模态。论文已被 NeurIPS 2026 研讨会接收。
DP-Learner通过在直接积空间执行消息传递,显著提升了哈密顿量预测的精度与推理效率。 该等变框架采用Transformer架构,基于Lie生成元的方向嵌入实现SO(3)、SU(2)及空间反转的等变性,并构建了包含超11万个材料结构的MP-HAM-110K数据集。
提出无奖励模型的零阶对数屏障策略梯度(ZO-LBPG),利用人类偏好直接估计以优化对数屏障目标,实现强化学习人类反馈的安全探索。该方法结合保守约束裕度估计、耦合Rollout及自适应步长,确保高概率下所有迭代及探索策略严格可行并全局收敛。实验在合成CMDP和语言模型对齐任务中验证了训练期间的安全保证。
小型软件公司 Grayhat Developers 采用混合架构部署 AI,本地开源模型处理低复杂度任务,商业智能体负责复杂任务。 原每月约 $325 的商业 AI 成本涉及超 25.93 亿 token,约 30-40% 的工作量属于协调类任务。 迁移协调任务至本地模型后,预计可减少 27-36% 的整体商业 AI 使用量,集中配置的部署方式显著提升了采纳率。
该方法利用神经网络同一函数的不同参数化自由度实现压缩,在 SmolLM2 和 Qwen3 上将 Zstandard 压缩检查点大小减少最高 23.4%。 精确规范变换提供零失真基准,允许微小功能变化可带来更大的率失真增益。 gzip、Brotli 和 ZipNN 下也有类似的相对压缩比下降,验证了将训练网络表示自由度作为实际存储资源的可行性。
论文提出 FedAbA,一种支持异构秩的基一致联邦 LoRA 聚合框架,已在 NeurIPS 2026 接收。 FedAbA 通过提取并全局对齐局部基,在聚合前重构局部矩阵更新,随后结合数据量与一致性权重进行聚合,再执行系数空间 SVD 重构与秩前缀分发。 实验显示 FedAbA 优于现有联邦 LoRA 基线,且在最高秩异构场景下增益最大。
Microsoft Research 发布 PDD Kit,将证明驱动开发引入 AI 编码流程:先将自然语言意图转化为 Verus 形式规约,再对 Agent 生成的 Rust 代码做全输入证明,证明覆盖不到的部分用测试补位。
推荐理由:原文展示了将形式验证引入 AI 生成代码的实际工作流,读者可据此判断如何在不逐行审查的前提下保障关键逻辑正确性。
月之暗面发布 Kimi Hosted Agents 托管智能体,将支撑 Agent 运行的 Harness 作为云端服务提供,支持长程任务执行与多智能体协作。平台内置 140+ Skills 与 30+ 插件,提供独立沙箱、网络访问权限控制及审计导出功能,并支持接入 Kimi Inference Hook 在推理前拦截敏感数据。
推荐理由:原文列出了140+ Skills、30+插件及8个金融Agent模板,读者可据此判断托管智能体如何降低企业自建 Harness 的运维成本。
阿里云副总裁安筱鹏指出,AI开源应从单纯开放模型权重,转向开放Skills等隐性知识,以增强智能体的工作能力。 他提出用“直升机与珠峰大本营”类比开源价值,认为开源体系降低了创新门槛,使人类经验可被AI压缩并调用。 该观点强调Skills是智能体革命的关键,推动软件功能原子化,助力企业实现认知升维与组织变革。
SEE Conf 2026 以“创造力复兴”为主题,于 2026 年 11 月 28 日在杭州蚂蚁 A 空间举办。 大会探讨模型能力与开源协作,涵盖 QMuse、TaoDesign 及 Coding Agent 等实践,旨在让构想转化为可体验的产品。 活动强调以人为出发点,通过 AI 拓展创造边界,将技术增量转化为用户可感知的体验价值。
OpenClaw 2026.11.1 版本发布,修复了 Mac 设置中配置保存失败导致密钥覆盖的安全缺陷,并优化了更新恢复机制。 该版本提升了 Claude CLI 的订阅账户可用性,支持通过插件管理原生 Agent 编排,同时修复了 Telegram 和 Discord 频道回复可靠性问题。
研究在受控框架下评估了28个预训练分子嵌入模型,使用层级贝叶斯Bradley-Terry统计检验。 在25个分类数据集中,除 CheMeleon 外的所有神经模型均未胜过经典的 ECFP count fingerprint,而外部验证显示两种方法无明确优势。 结果挑战了分子表示学习中感知到的进步,并凸显了领域内亟需严格评估标准。
研究团队发布开源基准 CivBench,用于在《文明 6》游戏中评估 LLM 智能体基于 MCP 协议的长程工具调用能力。 该基准包含 76 个 MCP 工具,单局游戏可超过 300 轮对话。研究通过 23 次试点运行发现,智能体在主动监控率和短期承诺执行率(RAG@10 为 48.2%-65.8%)上表现不佳。 CivBench 环境、场景日志及分析管道已开源发布。
提出伪黎曼注意力网络(PRAT),通过可学习对角度量解决异质图中正定几何先验不匹配问题。 在 15 个节点分类基准测试中,PRAT 性能优于或持平最强异质性适应模型。受控消融实验证实,禁止度量非定号会导致标记为不定号图的准确率下降。
EnzymeRSI 双循环系统通过外层迭代将 ProteinGym 开发集平均 Spearman 相关性提升 0.044,在 CD19 上达到 0.335。 内层循环使 ThermoMPNN 算法 PCC 达 0.849,并在 TadA-Bench 以 1.13 小时耗时实现 0.307 相关性。 三项湿实验验证中,RLuc 候选物活性提升超 2 倍,KOD-E 催化效率提升至亲本 31.1 倍。
SLICEChat 通过混合 Mamba-Transformer 编码器实现渐进式 token 剪枝,在 SlideBench VQA 中 TCGA 准确率达 79.84%,BCNB 达 59.09%。模型在 WSI-Bench 各项指标中表现最优,且具备具有竞争力的内存占用与推理延迟。该成果实现了在吉像素级全切片图像上精确且计算高效的多模态推理。
分布偏移导致模型活跃子空间旋转,使基于稀疏自编码器的字典解释器产生可信度差距。 研究提出几何自适应解释器(GAE),在无标签OOD激活数据下重新对齐字典且无需梯度更新。 实验表明,GAE在因果可信度上达到或超越所有基于训练的基线。
免训练框架 MAEP 通过模态感知专家剪枝,将约 58 GB 模型的 BF16 专家权重占用减少约 27 GB(约 47% 内存),使其适配单块 40 GB GPU。 该框架引入 Delta-H 输出指标衡量移除专家后的 MoE 输出变化,并利用低注意力视觉 token 作为稳定的剪枝信号。 在多数多模态基准上 MAEP 优于模态无关基线,同时在纯文本任务中保持竞争力。
基准测试表明,将嵌入维度减少8倍并结合int8量化,可在保持94.4%基线有效性的同时实现每向量存储减少32倍。 研究评估了4个Transformer嵌入模型在38项MTEB任务上的表现。int8量化在任务分类中整体损失不超过1.5个百分点,而二值量化表现显著更差;检索任务的性能退化速度快于其他类别。
EvoGuard 是一种成对技能选择器,通过拒绝采样保留具有明显效用差距的技能对,并在部署时通过单次前向传播决策。 模型在 ALFWorld 上成功率提升 11.0%,在 ScienceWorld 提升 5.9%,在 LiveCodeBench 提升 2.7%。
针对 Qwen3 0.6B至8B模型的塔吉克语 LoRA 适配器降低了文本损失,但未提升阅读理解,Belebele 准确率无改善甚至下降。 8B 模型经 3.75 亿 token 继续预训练及微调后,主模型 e3 在 Belebele 上比 Qwen3-8B 高 11.4 分,MMLU 下降 1.2 分;0.6B 模型表现接近随机,MMLU 跌 7.6 分。
AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。
推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。
腾讯混元 Hy4 正式发布,首次引入视觉与电脑操作能力,金融综合表现及内部科研评测位居开源第一。官方计划开源模型权重,已在腾讯云等渠道上线,API 价格与预览版保持一致。
推荐理由:原版在金融众测与科研任务上取得开源第一,并展示了从代码到生物建模的跨领域生产力落地。
开发者杨津在 CC Switch 发布 14 个月后分享开发心得,该开源项目现支持 12 个 AI 编程工具,获 149K GitHub Star,内置 90 多家供应商预设。
研究人员提出层次化转移注意力记忆框架 HTAM,利用 LLM 自动优化 GPU 算子,在 KernelBench 上展现出优于基线模型的正确性与加速效果。 该框架通过构建层级转换图(HTG)组织粗粒度全局方向与细粒度局部策略,引导 LLM 生成具体的 CUDA 代码。 该研究已在 EMNLP 2026 会议上作为 Oral 论文发布。 ```
研究提出动态基准框架 Multicultural Spyfall,利用社交推理游戏评估 LLM 多语言文化能力。 模型在非英语语境处理本地实体及规则遵循时表现显著弱于英语环境。 该游戏化方法可扩展、抗数据泄露,并补充了传统 NLP 基准的不足。
PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。
DexCanvas 是一个混合数据集,包含 7000 小时的手指灵巧操作,具有每帧接触点和力。 该数据集由 70 小时的光学动作捕捉扩展而成,涵盖了 21 种操作类型,通过 RL 策略在物理仿真中测量接触力。 接触驱动的重定向可将演示传输至两个灵巧机器人手,首次公开的 111,857 条轨迹可在 Hugging Face 获取。
EpiLoRA 插件将 LoRA 适配器融合进低精度 GEMM,在 NVIDIA Hopper 上单适配器解码时间比 vLLM 最快配置低 24%。 该技术在多租户场景下吞吐量优于 vLLM,且支持基于 FP8 权重的 LoRA 强化学习训练,使 27B 模型能在单块 48 GB GPU 上运行。
新提出的方法将生成发现模型平滑过渡为迭代优化,利用概率代理的后验不确定性引导结构先验与湿实验数据交接。 该方法在低样本量优化中提升效率并增加分子多样性。 论文已被 NeurIPS 2026 GEM 和 AI4DD 会议录用。
研究表明,语言子空间干预无法彻底移除激活中的语言信息,且最能提升 MGSM 准确率的干预会导致回答语言保真度下降。 实验基于 Qwen2.5-7B,仅有一种干预将联合准确率提升 1.60 分;仅修改提示词也能复现增益但严重损害语言保真度。 作者主张因果干预评估需超越准确率指标,以充分考量语言替代权衡。
AIRoA-0 是一双臂操作系统,完全基于 16,151 小时手持演示数据训练,未采集任何机器人数据。在 10 项任务中平均成功率达 78%,优于最强对标模型 27% 的表现。 系统支持跨具身应用,兼容 Franka、TX-G2 等机器人。团队已开源数据集、预训练权重及微调方法,在 8 块 H200 GPU 上微调耗时不到 4 小时。