ASH:通过激活引导实现提示增强 GRPO
ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。
ASH 提出一种新的提示增强 GRPO 方法,通过在模型激活中注入可训练引导向量,解决推理时无提示导致的训练-推理上下文不匹配问题。 在四个 LLM(Qwen3-1.7B/4B-Base、Llama-3.2-1B/3B-Instruct)实验中,ASH 在 AMC、AIME 等竞赛级及分布外基准上持续提升 pass@$k$ 指标。
研究揭示在14个开源大语言模型中,改变道德判断结果的注意力头属于通用规范评估电路,而非特定于道德内容的道德特征。该电路在所有测试的规范判断类型中均发挥同等作用。
该研究提出了一种基于“撤销映射”的迁移强化学习算法,通过匹配状态特征统计量学习映射并转移策略。 在线性假设下,该方法严格优于从零开始训练的样本复杂度;在连续控制和Atari等实际任务中,也表现出显著更高的样本效率。 结果证实利用任务间的共享结构可提升跨环境策略转移的效率。
研究在 Claude Opus 5.5 上检验“梦境防止过拟合”假设,结论是损坏记忆并未帮助模型将旧知识应用到新任务。 实验包含 30 次运行,其中 40% 细节损坏使召回率从 76% 降至 60%,而随机文本干扰因模型能识别而基本无效。 结果表明预训练模型可区分损坏文本与真实事件,因此该假设需要在无法轻易区分二者的学习模型上重新测试。
HADVQ提出针对LLM的向量量化方法,通过随机预条件和基于$E_8$格的结构化码本实现超低比特压缩,关键结果:在极低比特范围内提升了模型精度,额外成本仅0.16比特用于保护极敏感通道。 该方法将权重表示在极坐标中,解耦方向与幅度的量化,并利用代理Hessian检测重要通道。结合几何结构、格基码本和选择性通道保留,在极端低比特量化场景下显著改善精度。
研究提出FSC框架,利用切空间匹配和正交坐标将生成轨迹约束在守恒流形内。 该方法在周期Kolmogorov流中将模式覆盖度从0.000提升至0.790,消除高频谱失真。 稀疏重构实验显示,相比非条件先验,全局相对误差降低50%至46%,传感器残差降低63%至55%。
多模态强化学习中结果奖励分配在完整生成轨迹上,而视觉证据在响应中位置稀疏且不均匀,限制了token级优化。 Gaze-RL 提出一种表征驱动的策略优化方法,通过计算内部跨模态几何结构和局部预测不确定性得到“潜在奖励落地场”,将轨迹级优势重新分配到视觉锚定且承担决策的关键位置,保持均值为一、保留每次 rollout 总信用并仅改变逐位置分配。
该研究提出统一扩展定律,揭示视觉-语言模型(VLM)中早期融合与晚期融合在固定数据预算下的性能权衡,表明模型规模扩大时早期融合优势更显著。 定律通过分离基础学习轨迹与模态竞争驱动的分布偏移来建模验证损失,实现了对混合比例、训练步长和模型规模下损失的准确预测。
研究者提出 OICycle 模型,通过从回顾性轨迹中学习随机信念状态,将部分可观察马尔可夫决策过程应用于纵向临床决策。 该模型基于 MIMIC-IV 等数据构建了包含 72,075 次住院记录的基准测试集。与无历史模型相比,OICycle 将下一步干预自适应召回率从 0.253 提升至 0.347,死亡率预测 Macro-F1 从 0.585 提升至 0.649。
研究提出合成数据生成管线,结合扰动松弛、MatterGen 生成采样和原型结构枚举,使用机器学习原子间势代替 DFT 松弛,降低扩散预训练对高成本 DFT 数据的依赖。
研究提出VTT数据集与基准,利用运动轨迹和CAN信号识别未见车型的车辆尺寸与动力类型,包含9,062次驾驶记录。 模型在电池纯电与燃油车区分上的宏观F1值达92.6%至93.0%,尺寸分类准确率从62.9%提升至67.1%。 物理特征分析表明动力识别关联减速行为,尺寸识别关联转向响应,跨车型泛化受标签分辨率限制。
提出 LAS 分析框架识别晶体复杂性及元素组成失衡两大生成难度关键因素,并基于此构建数据感知扩散模型 DSADiff。 模型在 Carbon-24 等三个基准数据集上表现优异,Match Rate 最大提升 9%,刷新 SOTA 性能。 该工作为设计低偏差生成模型提供新方向,深化了对扩散模型在复杂材料空间生成偏差机制的理解。
论文提出时序代数框架,通过指数衰减或滑动窗口加权混淆矩阵,在 O(m^2) 复杂度下解决数据流中延迟标签导致的评估偏差。 引入观察掩码机制,利用校准概率估算未决标签,并通过 Jacobian 分解区分先验漂移与概念漂移,有效降低假报警率。
提出流式OPD,将生成、监督和更新解耦。 在GSM8K上,Qwen3-4B向Qwen3-0.6B蒸馏中,匹配预算使早期差距从4.55降至2.42分。 同步续训最佳准确率为73.39%,扩展记录为76.12%。
summary_zh: 研究提出首个全球季节性降水预测基准 SeasonRainBench,涵盖未来 1-5 个月预报,提供 310,944 个模拟月数据及 7 个运营中心资料。
研究为 LLM 对齐方法提供理论基础,证明 DPO 边际在梯度流极限下呈 $O(\log t)$ 无界增长,而 IPO 收敛至 $1/(2\tau)$。 实验验证 DPO 在标签噪声下发生定性相变,且 SimPO 加入平滑 $\varepsilon$ 后存在有限吸引子。该理论在 5 个模型族、4 个基准上通过验证,并推导 TPO-S 在 IFEval 取得最高均值。
一项针对AI超算互连性能的Trace驱动研究揭示了真实工作负载对延迟、带宽和抖动的敏感性。研究覆盖高达4,096个GPU的训练与推理负载,利用NCCL调度和LogGP模型估算运行时间下界。该方法结合特征分解与线性规划,识别出不同工作负载间的性能悬崖及带宽升级的边际收益。
Solarian 是一款开源 Python 框架,支持构建、仿真、遥控、训练和部署 AI 机器人,实现从硬件到 AI 控制的统一技术栈。 框架提供实时控制模块,支持 MuJoCo 仿真与硬件插件扩展,并内置基于 PyTorch 的学习策略,允许从演示数据直接训练驱动机器人的策略。
Microsoft Research 专家在《The Shape of Things to Come》播客中探讨 AI 对医学未来的影响。 对话聚焦 AI 辅助诊断、医学影像、虚拟细胞及生物基础模型在科学发现中的作用。 他们分析了研究转化为临床应用的挑战,强调高质量生物数据与真实世界验证的必要性。
Main Street Wealth 推出 AI 数据经纪服务,代表经营类业务所有方将脱敏历史运营记录授权给 AI 公司,仅收取成功费且不获取数据使用权。 业务保留所有原始记录、客户关系及公司本身,仅在书面批准后通过管理控制台向买方导出数据;Main Street Wealth 拥有 7 年以上现场服务行业承保经验。
美国AI公司Mirendil官宣完成10亿美元A轮融资,由Kleiner Perkins与Clearlake Capital联合领投,谷歌、英伟达等参与,加上今年6月融资累计达12亿美元。
推荐理由:Mirendil以一人、3.5个月、算力成本不足1000万美元训练出首个基础模型,给递归自我改进提供了可对照的早期样本。
原文未提供具体技术细节、版本号或评测数据,无法生成包含关键数字和事实的摘要。
Oracle 联席 CEO 承认在说服镇民接受数据中心时,派遣总部人员下乡沟通是科技行业的“经典错误”。 中期选举后,社区许可已成为 AI 基础设施建设与电力、芯片同等重要的瓶颈。Trane CEO 指出,需澄清数据中心过度耗水的误解,因多数设施采用闭式循环冷却。
HSBC 以大幅折价出售了约 3 亿美元的新墨西哥州问题数据中心项目贷款份额。 Pimco 预计随着数据中心建设放缓限制发行,AI 相关债券利差将收窄;BlackRock 警告建设放缓将冲击实体经济。 此举标志着围绕 AI 基础设施债务的焦虑正在加深。
由哈佛大学主导的研究在《Nature Sustainability》发表,利用卫星图像核实了403座美国超大规模数据中心。估算显示,这些数据中心在2024年5月至2025年4月期间消耗了美国约2%的电力,且主要能源仍来自化石燃料。
提出结合前景与背景证据指导局部监督的CB-LNL方法,旨在应对噪声标签下的实例分割挑战。 该方法基于COCO和LVIS标注审计,并引入覆盖人类标注及SAM2弱提示掩码的基准测试。 实验显示,相较于直接教师掩码替换,CB-LNL在程序化轮廓噪声训练上性能更优且有害编辑更少。
外部观察者可通过监测 NVIDIA H200 的功耗,无需配合即可识别 AI 工作负载类型。 研究记录了 930 条 10 MHz 功耗轨迹,区分训练与推理的准确率达 97%。 该物理侧信道为 AI 算力验证提供了可落地的国际政策治理切入点。
研究团队发布了迄今最大规模的医学影像数据集综述,系统梳理了1000多个开放获取数据集。该工作指出现有数据集规模有限且碎片化,并提出了元数据驱动的融合范式(MDFP)以整合共享模态或任务的数据。团队同步发布了一个交互式发现门户和统一结构化表格,旨在加速数据发现,支持构建更强大的医学基础模型。
研究指出 PDE 发现的事后评估需兼顾预测精度、物理一致性、可解释性及分布外泛化能力,且这些属性往往相互冲突。现有文献多仅关注局部指标,易导致结论偏差及方程排序改变。 作者提出首个 PDE 评估指标分类体系,并发布基于规则的 Pde-Check 协议,指导根据数据可用性和物理先验等场景选择评估策略。
summary_zh: Proxy OPD 提出一种后训练方法,利用目标冻结基策略作为参考,通过代理奖励引导探索生成 token 级对数概率变化信号,实现在线策略蒸馏中跨目标复用奖励诱导改进。
Layer patching 的顺序显著影响大语言模型插值性能,简单顺序策略(首层至末层或末层至首层)常表现优异。 该工作将最优层子集寻找建模为无环图中的最短路径优化问题,并提出基于 KL 散度的贪心算法 KLPatch,通常优于从末层开始的策略。
研究提出稀疏 Delta 记忆(SDM),扩展 Gated DeltaNet 架构,利用稀疏寻址方案将门控线性 RNN 隐藏状态容量提升数个数量级。 SDM 用大型显式记忆中的稀疏读写替代密集键值外积。在 isoFLOP 约束及参数数量相同条件下,更高状态记忆容量显著提升了上下文学习和长上下文检索性能。
研究人员开发了肾癌视觉-语言基础模型 RenalCLIP,旨在通过无创评估提升诊断精度。 该模型利用 27,866 例 CT 扫描数据,采用两阶段预训练策略,在十个核心临床任务上性能显著超越通用模型,且仅用 20% 数据即达基线峰值表现。 RenalCLIP 展现出强大的零样本诊断能力,有助于优化肾实质的预后分层与个性化治疗管理。
提出自适应逐层变换框架,将 LLM 量化中的激活和权重离群值转化为可微分优化问题,并根据权重分布峭度指导逐层选择最优变换。 在 LLaMA-3-8B 模型的 W3A3KV2 低比特量化下,该方法比现有最优方法 FlatQuant 降低高达 4.58 点的困惑度,并将六项零样本任务的平均准确率提升 2.11%。 该工作证明了采用异构逐层变换策略对于实现最优 LLM 量化是必要的。
研究首次系统分析大语言模型对逆关系方向性的建模能力,基于包含5457个实例、覆盖27类逆关系标签的基准,评测了5个开源LLM。 发现模型在逆关系分类中存在系统性不对称,关系描述未带来一致性能提升,且模型性能对实体表示的变化较为敏感。 该研究已被EACL 2027 Findings接收。
该研究探讨无外部预训练数据的生成式数据增强对分类器测试准确率的影响,通过四个骨干网络在六个数据集上的实验,界定了合成数据带来的超额风险上限。 理论表明,当生成与真实数据分布差异较小时,合成数据增益最大;总变差距离下界较大的生成器在六个数据集中的五个上效果较弱。
LLM-as-a-Tutor 框架扩展了大语言模型在强化学习中的角色,从仅作为评分者升级为既能识别非挑战性提示词,又能通过添加原子级约束来动态生成更复杂提示词的教育者。
研究指出,在有限高维数据集上使用闭式概率流向量场进行少步生成是行不通的。 高维扩散过程的解析解近似于线性变换,训练效果与独立配对无异。 理论量化表明,漂移携带的端点能量比例随数据集规模 $N$ 和对数关系 $\frac{\log N}{d}$ 变化。
论文提出SARL无标签强化学习框架,通过奖励推理拓扑结构替代结果验证。在可验证数学任务中,SARL在AIME25上通过GRPO算法提升44.7%;在开放任务中,WildBench平均分提升30.4%。该框架代码和数据已开源。 ```
GAAMA通过以话题为中心组织对话,结合LLM提炼事实与概念,在LoCoMo10基准上取得79.1%最高平均分,且GRAFT机制能离线修复检索不足。 该方法定义了四种节点类型与五种结构边,利用话题概念提供跨切路径避免超大节点;检索融合最近邻相似度搜索与基于边类型的个性化PageRank。 概念链接事实比实体关系三元组提升3.0个百分点奖励,GRAFT将接地答案记录为新事实,使后续查询直接命中。