强化世界模型学习:提升 LLM 智能体的环境适应能力
提出自监督方法 RWML,利用仿真-真实差距奖励训练 LLM 智能体的动作条件世界模型,对齐内部模拟与真实环境状态。 在 ALFWorld 和 $\tau^2$ Bench 上,结合任务成功奖励后,RWML 分别比直接强化学习高出 6.9 和 5.7 分,无需专家数据或强 LLM 标注。
提出自监督方法 RWML,利用仿真-真实差距奖励训练 LLM 智能体的动作条件世界模型,对齐内部模拟与真实环境状态。 在 ALFWorld 和 $\tau^2$ Bench 上,结合任务成功奖励后,RWML 分别比直接强化学习高出 6.9 和 5.7 分,无需专家数据或强 LLM 标注。
研究提出 MultiInpaintCOCO 基准,将 InpaintCOCO 扩展至 13 种类型学多样的语言,包含 953 个最小对样本。 该基准涵盖五大语系,测试了轻量级 VL CLIP 类编码器与大型语言模型在跨语言检索中的表现。结果显示低资源语言性能显著下降,且多数模型表现出对英语的系统性偏好。
研究者利用英语、西班牙语、法语和德语的1.2万条Reddit本地帖子,对3个开源及3个API模型的性别、种族和宗教偏见进行了审计。 研究发现宗教维度的选择失衡在所有模型中最高;API模型得分全面低于开源模型;负面性别偏见在英语语境下更显著。 这些结果揭示了聚合分数可能掩盖特定类别和语境的偏见行为,强调了部署前进行细致检查的必要性。
summary_zh: 一项涵盖 Claude、GPT、Grok 和 Gemini 等六款大语言模型的系统提示词自我修改实证研究揭示了收敛行为的显著差异。研究包含 54 项独立实验,其中 Claude Opus 4.5 和 Claude Sonnet 4.5 在 100% 的运行中声明收敛,而 GPT-4o 仅在 11% 的运行中收敛。
实验表明 Gemini 3.6 Flash 和 Qwen3.7 Flash 在韩语谈判中达成协议的频率显著高于英语。 韩语场景下双方让价幅度更大,卖家礼貌性缓解行为占比高达 11.7%,显示交互语言会改变行为而非仅措辞。
AgentHop 发布 1011 道选择题及七工具沙箱,拆解检索、合成、工具调用等资源管理四轴评估。 覆盖 19 个模型发现显著家族特征:GPT 早期提交,DeepSeek 与 Kimi 过度搜索。 论文已被 NeurIPS 2026 接收并开源完整测试集与测试框架。
UA-JudgeExam基准显示Claude Haiku 4.5在无题干时盲猜得分0.383,远高于随机水平。剔除泄露项后GPT-5.6在隐藏题干时仍得0.515,但过滤信号不具通用性。
提出无训练方法UPSHIFT,通过比较初始与反馈响应隐层表示并聚合位移,在不更新模型参数下实现大语言模型个性化。 该方法在PrefEval评测中对40个模拟用户测试,显著提升Qwen3-8B和Qwen3-32B的偏好对齐能力,最佳配置的宏平均Elo分数分别从1364.0升至1605.2、1341.9升至1591.8。
summary_zh: 混合语言模型中,线性注意力直接参与构建 softmax 注意力的查询,而非仅压缩上下文。 在 Qwen3.5 和 Granite4.0 中发现 Encode-Address 电路;跨架构移植 Address 块可在不更新权重的情况下恢复 0.92–0.94 的检索准确率,且大规模模型中该计算趋于分布式。
BioAgent-DF 通过恢复计算值审计决策溯源,发现 Qwen3.5-4B 和 Gemma 3 4B IT 在引用上存在可重复变化。 测试显示静默数值故障会改变决策,恢复执行状态可纠正 39 个错误判断,流式实现将验证时间减少 42.4%。 该研究已被 NeurIPS 2026 AgenticLS Workshop 接收。
研究显示,当参考记录存在链接缺失故障时,大模型 LLM 评审仅依赖文本捕获率显著高于依赖记录,Gemini 3.1 Pro 达 23/24,而记录可用时仅 1/24。
针对多-million美元训练任务因编译器缺陷导致的数值退化与内存损坏问题,提出一套基于 Google XLA:TPU 的超大规模验证方法。 该方法结合模糊测试与 AI 智能体集群,通过分层差分流水线定位融合内核中的失败操作,已解决 142 个编译器 bug。 此生产级框架不仅提升服务稳定性,还为大规模模型编译优化提供了经过实战检验的调试范式。
针对现有NIAH基准存在合成数据偏差和人工标注污染问题,研究人员推出动态基准GraphNIAH。该基准基于LLM知识截止日之后的真实论文引用图谱构建,通过自动化流程生成长上下文问答示例。
LLM 驱动的就诊准备代理在 Google Health app 的前瞻性随机研究中,综合准备率较对照组高 16.6%。 802 名美国成人完成 866 次对话,患者就诊准备度提高 16.8%,信心提升 14.3%。 研究建议 LLM 聊天机器人可安全辅助就诊准备,结构化工作流获益更大。
Apriel Voice 27B Preview 是一款开源语音语言模型,基于 Gemma 4 26B-A4B 构建,能够直接处理语音并生成回复与工具调用。该模型在 thinking 模式下于 Big Bench Audio 得分 98.90,Speech-BFCL 得分 81.13,tau-Voice 任务成功率 65.51%,平均延迟为 1.91 秒。
RECAST 是一种基于重构的框架,能在不使用隐藏推理渠道的情况下,从 Claude-Sonnet-5.5、GPT-6.1 和 Gemini 3 等前沿闭源模型中重构出第一人称结构化推理数据。
Google DeepMind 开发的 AI 工具 PlanAssist 将规划官员处理住宅申请的平均耗时缩短 58%,现扩展至 12 个地方规划机构。 该工具基于 Gemini 构建,可自动校验文档、核查政策合规性并起草报告,70% 的生成报告无需编辑即可获批。 此举旨在缓解规划积压,支持英国政府 2029 年建设 150 万套新住宅的目标。
研究者提出 FAQ 方法,将大语言模型基准测试视为有限总体推断,在固定查询预算下追求紧置信区间。 该方法利用贝叶斯因子模型和混合方差缩减策略自适应选择问题,在两个基准套件上比基线方法带来高达 5 倍的有效样本量增益,且计算开销可忽略。 代码和数据集已开源以支持可复现性。
Google Cloud Dataflow 推出针对 LLM 混合流处理负载的系统,通过异构工作池自动扩展和前缀感知批处理,将吞吐量提升 1.5 至 2 倍。 该系统在保持类似延迟的同时,实现高达 75% 的峰值资源节省,并将峰值尾部延迟降低 84%。
summary_zh: 研究人员提出“统一训练”框架,通过单一基于似然的训练算法整合基础模型的预训练、监督微调(SFT)和强化学习(RL)阶段。 该框架将RL目标推导为对模型生成目标分布的最大似然拟合,在单一训练器中混合静态数据与RL生成数据。
论文提出 Q-Guided Flow (QGF) 强化学习算法,通过测试时策略优化替代不稳定训练,在单任务和目标条件离线强化学习基准上超越现有测试时方法。 该算法利用预训练的流策略和价值函数,在测试时用价值梯度引导生成高价值动作,避免了演员-批评家训练的不稳定性且运行成本更低。 QGF 展现出随模型规模扩展的良好特性,为使用高维动作空间的机器人控制提供了实用且高效的强化学习替代方案。
MedGemma-4b-it 使用 LoRA 微调后,在 6 种疾病诊断测试中准确率达 80.37%,超过未微调 GPT-4 的 69.56%。该开源模型在癌症和肺炎等高风险任务中表现出更高灵敏度。研究证实领域微调对减少临床幻觉至关重要。
三项模型家族将2000篇新闻改写为摘要与故事,研究发现“源一致性”指标无法准确衡量重构中的故意偏离,导致真实失真被遗漏。在故事中,问责失真上升高达7倍,其中三分之二的案例减轻了肇事者的责任。为支持检测研究,作者发布了可重构语料库ReTold-2k。
LLM 在信息不足时依赖 unembedding 矩阵中的“方向性未知”作为一元先验。该现象在 0.4B 至 405B 参数的 Llama、Qwen、Gemma 和 Pythia 模型中普遍存在。
TypeSafe AI 的商业“系统一”模型 Jev 在 37 个数据集上完成零样本评测,以低于 10 美元的总成本处理了 346,009 个请求。 Jev 在 IMDB、SST-2、HellaSwag 和 ARC 等任务上达到 95-99% 的准确率,优于 37 项测试中的 Qwen3.8-27B 和 Gemma-4-E4B,且概率校准良好。
该研究发现,基于个体 token 路由的聚类最优传输变体在 Gemma 和 Granite 模型上将毒性减少 37-61%,优于均值差(DiM)方法。 该变体在 INT8 和 NF4 量化下依然有效,且与均值差方法相比,在相同毒性水平下流畅度略高,但在相同转向强度下困惑度稍高。 该研究证明了该变体在量化模型中的鲁棒性,为实际部署中降低模型毒性提供了有效方案。
研究评估了3,611个健康问题的Google AI Overviews,发现其与传统搜索来源重叠度低且过度依赖商业发布源。AI Overviews在6项可靠性标准中的4项得分低于传统结果,且56.7%的被引用语句缺乏充分依据,仅获得医生评分标准的38.2%。
研究测试12个语言模型在4860次调用中对已知机械极限的计算与拒绝能力,发现模型在询问可行性时能识别不可能的工程设计,但在要求完整答案时可能错误报告“solved”。 Opus 5 和 Gemini 3.8 Flash 在仅询问可行性时拒绝了所有不可能的新设计,无假警报;重述拒绝时机或改变回答格式提升了原始梁的拒绝率,但在新设计上效果不一致。
研究评估了6个LLM在约鲁巴语和尼日利亚皮钦语上的安全性,使用400条对抗性提示。多数模型拒绝率达0%并非更安全,而是因语言理解失败。 GPT-4o Mini在约鲁巴语上的跨语言安全差距最大(+0.23)。
研究发现链式思维(CoT)依赖度随模型规模增加而上升并饱和。在 Qwen3 中,答案对编辑后步骤的依赖度从 0.6B 参数的 16-18% 升至 14B 的 97-100%。 能力是主要驱动因素,依赖度与步骤准确率相关系数 r = 0.99。后训练不改变依赖度,14B 以下模型在缺乏书面步骤时均无法内部解决需四步以上交换的任务。
研究提出组件反转翻译方法,固定行为与译文数量,独立分配英、中、西语言以评估9种配置。在Gemini 2.5 Flash和DeepSeek上,拒绝率互换效应未通过Holm校正;Mistral Small 4显示13.7点的西班牙语互换效应,且通过敏感性校正。 该评估框架强调记录组件语言与译文数量,将拒绝与不安全顺从分开解读,为多语言安全测试提供额外维度。
QA Studio 引入应用实体、健康指标视图及基于团队的五级角色管理,支持组织级扩展。 应用作为测试容器继承所有权,自动记录 CloudWatch 自定义指标。 健康分数(0–100)通过扣减 Flaky Test 惩罚计算,并提供 7 天/30 天趋势及 Flaky 测试排名。
Google DeepMind 发布前沿模型 Gemini 4 Carbon,称其在网络安全和长任务能力上达到 state-of-the-art,并将在 Artificial Analysis Intelligence Index v5.0 中取得 59 分、排名 #1。
推荐理由:官方给出一组网络安全基准数字和分阶段上线机制,读者可以据此判断前沿模型在复杂代码与安全任务中的实际能力边界。
EmbeddingGemma 2 是一个开源的多模态嵌入模型,能在统一空间中表示文本、图像、音频和视频。该模型在多种嵌入基准测试中优于专业模型及体积大两到十二倍的模型,支持选择性加载模态编码器、调整视觉 token 预算及量化权重,模型已在 HuggingFace 和 LiteRT 上发布。
推荐理由:新模型在基准测试中展现出跨模态优势,其可裁剪架构为资源受限场景的部署提供了参考。
工业级系统TokenMinds扩展PLUM框架,通过生成式序列建模将SID用于用户表示,其双输出设计结合密集嵌入与离散SID用户令牌,保留多项兴趣。 该系统统一长短视频语义,减少上游计算50%与31%,并直接在观看历史中插入文本查询以捕捉意图。 在YouTube线上A/B测试中,SID令牌单独有效,与密集嵌入叠加增益显著,整体表现优于上一代非LLM用户模型。
研究引入静态规划器-执行器框架PlanAhead,评估4种自然语言规划表示对LLM网页智能体性能的影响。实验在3个难度级别的WebArena任务中,系统测试了包括顺序子目标、叙述、伪代码和检查表在内的4种规划表示。结果显示,规划形式的制定和底层LLM均显著影响网页智能体的稳健性和任务成功率。
研究通过信号检测理论测量7款LLM区分用户更正与操纵的能力。 实验显示引用使5款模型更易让步且4款区分能力变差,Ministral 3B在权威声称下违规。
针对物理控制环境中固有动机方法忽视长时间尺度信息结果的问题,研究提出 Hamiltonian Temporal Contrastive Curiosity (HTC²) 框架。
多领域学者指出,AI 系统有望在未来几年内自动化大部分 AI 研发工作,这可能引发“智能爆炸”,将数年的技术进步压缩至数月。 智能爆炸可能极大加速 AI 效益,但也会带来超级 AI 失控及权力制衡被严重侵蚀的极端风险。 鉴于不确定性高且利害关系重大,政策制定者应紧急增强对 AI 研发自动化的可见性,并制定相关约束措施。
KV Packet 提出免重算的 KV 缓存复用框架,通过轻量级可训练软 token 适配器桥接上下文断层。 在 Llama-3.1 和 Qwen-3 实验中,该方法实现近零 FLOPs 且 TTFT 低于重算基线,F1 分数与全量重算持平。 该工作已被 NeurIPS 2026 接收。