Openhagen Worlds:校准环境用于测量和训练科学发现智能体
Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。
Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。
研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。
研究发现 GR00T N1.7 模型在 LIBERO-Spatial 任务中对地标词同义词敏感,导致闭环完成率从 100% 降至 67.6%。在连接层前替换地标词向量即可改变物体选择,但连接层后替换影响微弱。在多样化地标词上微调或仅训练连接层可修复同义词缺失任务的完成率。
针对长上下文大语言模型服务的计费问题,提出分层框架。实验表明内容相关性主导位置权重,且缓存命中可使 65,536 token 的重复前缀计算成本降低两个数量级以上。 校准模拟显示 99 分位会话费用可降 31-42%,但收入匹配的非线性费率会导致中位数费用增加。
研究发现,将潜在 Chain-of-Thought 运行至预设全程可能降低推理性能。 该方法通过估计剩余建设性进度动态调整推理水平,无需重新训练 LLM。 在多个算术基准中,推理准确率最多提升 7.2 个百分点,潜在计算量最多减少 29.0%。
该研究在冻结的 Qwen3.5-0.8B 等模型上训练投影头,构建了针对 MedMCQA 的 System 1 决策模型。 模型将题目和选项向量化,通过对比学习优化,使小模型准确率从 33% 提升至 42.5%。 相比 Flan-PaLM 等模型,该方案提供了快速且低成本的基线方法。
提出长窗口投机解码框架 Sightline,通过匹配草稿器视界长度的验证窗口提升 SVG 生成速度。 在涵盖 text-to-SVG 与 image-to-SVG 的六项基准(源自 MMSVG、MMSVG-2M 及 SArena)测试中,Sightline 在所有设置下均为对比无损解码器中速度最快。 分析表明其优势源于更长的验证窗口避免了短窗口被截断导致的轮次损失,相关代码与数据已开放获取。
研究提出 AnyS1 框架,利用人类编写的程序化技能将决策点转化为通用源,训练出单个校准的 4B pointer System-1 模型。该框架在运行时以单次前向传播解决常规决策,并在置信度低于阈值时回退至 System-2 大模型。 在三个未见过的 benchmark 测试中,AnyS1 将 episode 成本降低 75%-91%,模型调用时间减少 63%-92%,同时保持任务可靠性。
summary_zh: 研究 Qwen3 0.6B 和 1.7B 模型在 127 个生命周期内使用 LoRA 适配器每晚微调,发现从用户反馈学习的效果取决于评判机制,且长期会出现衰减。
针对个人健康助手 Kicker 的指令更新,Safe Personal RSI 在 21 次更新尝试中拒绝了 20 次。 修复确认显示 GPT-5.6 Luna 将攻击违规率从 10.7% 降至 0%,Qwen2.5-7B-Instruct 至 Qwen3-14B 迁移使违规率从 69.0% 降至 17.9%。 方法在模型权重和运行时代码固定的前提下,通过可执行基准测试确保更新安全性后再行采用。
Option-GRPO 层级 RL 框架利用 SDK 源码结构优化代码 LLM 适配未见 SDK,在 12 个未见 SDK 上达成 61.4% pass@1 准确率。 基于 32B 参数基座模型实验,该方法比 flat GRPO 高 8.7 分,生成代码 API 调用少 34.7% 且长度短 27%,直接解决 AI slop 问题。
多智能体系统可通过置信度有限样本测试,以 5% 答案变化率上界安全跳过辅助消息,在未知问题中保留 76% 至 95% 的收益。 该机制在 Qwen 模型对上,通过跳过 59% 至 80% 的消息实现文本推理延迟降低数百毫秒,但 KV cache 路径性能未达标。
GRAFT 通过引入父代特异性执行证据优化进化交叉机制,在六个推理与编程场景测试中取得 82.0% 平均准确率。 该方法无需额外任务执行,仅利用评测中有限的成功与失败样本指导语义交叉与突变,其准确率比最强基线高出 9.8 个百分点。 这一结果证明了在执行证据指导下进行进化智能体设计的有效性。
BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。
SpecLook 提出免训练的预测验证框架,通过预测智能体下一步观察结果,使每个问题仅需单次前向传播。 该方法在 V*、HR-Bench 和 POPE 上准确率为 87.2% 和 86.2%,较 DeepEyes-7B 快 7.7 倍。 无需标签即可评估答案可靠性。
QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。
该研究对大语言模型强化学习运维(RLOps)进行系统性综述,旨在解决训练扩展中暴露的分布式执行、反馈计算及学习动态故障问题。研究将现有方法归纳为训练设置、经验收集、奖励计算、策略优化和模型评估五个阶段,并深入分析各阶段的操作关注点与管理技术。文章指出了训练过程可观测性、跨阶段协调及通用化 RLOps 等开放挑战,相关资源已托管于 GitHub 仓库。
在100对合成日志中,gpt-5.6-sol添加结构化残留记录后,明确说明未返回查询的比例为29%,而仅添加安慰剂记录为5%。 但70%至71%的记录声称无未决问题,且该结构化记录与伴随文本在提及缺口方面完全一致。 该结果预注册检验未达显著,无法证明结构化记录独立改善了模型披露。
JDPI 利用对比学习构建有害与良性原型,通过原型相对距离实现安全检测,在四个基准测试中检测准确率提升 9.1-18.0 个百分点。 该模型仅需二元安全标签进行编码器适配,跨数据集鲁棒性优于传统分类器,平均准确率提升 1.59 个百分点。
CAR 框架结合文献接地与迭代开发,在 LiveIdeaBench 40 个主题上表现出高于单轮提示的方法学新颖性。 该框架构建语义知识图谱,配备双关联等四个算子,在 BioXArena 等基准中取得最高胜率。 结果未确立显式算子的一致性质量优势,但实现了构思过程与文献来源的可追溯性。
研究表明,语言模型在通用训练中的进展可替代被屏蔽的特定数据,使其后续以极少数据快速掌握被屏蔽技能。 以国际象棋模型为例,从未显式学习应对将军指令的模型表现接近经该指令训练的模型;在70亿参数模型中屏蔽的编程语言,随模型进步后重新学习所需数据量递减。 数据过滤虽能延缓能力形成,但所需数据量随模型改进而减少,对能力监管具有参考价值。
Chiron 是一款基础模型,通过联合微调 LLM 实现对心理构念的表征和个体行为预测。其训练数据涵盖 36 个行为领域和 78 个社会实验,包含 288,307 条个人记录。
针对魁北克法语的持续预训练(CPT)收益取决于基模型对目标方言的现有能力,并非普遍有益。 实验采用 30M token 预算,发现语料构成(特别是文学文本)比数据量更关键;CPT 主要提升表达理解而非语法,且会导致阅读理解能力下降。
CurvDelta 框架通过低曲率空间参数化更新,解决 LLM 适配中能力保留难题。 利用 K-FAC 实现高效适配,CurvLoRA 提供低秩变体。在数学推理、代码生成及知识遗忘任务中,其在 TOFU 和 MUSE 基准上展现出优于基线模型的获取-保留平衡,保留性能接近从零开始重训练的参考水平。
Piccolo 0.8B 至 27B 多模态决策模型通过 Agentic Data Engineering 实现模型与数据协同演化。 Piccolo-27B 在 Decision Index Vision Full 榜单以 75.59 分居首,9B 与 4B 模型在各自规模 Private 基准测试中排名第一。 发布权重及工具,为构建前沿决策模型及扩展数据驱动的递归自我改进提供可行蓝图。
Clover-35B-A3B-Preview 是支持思考模式扩散的 MoE 语言模型,总参 35B、激活 3B,SWE-bench Verified 73.6、Terminal-Bench 2.1 51.7。
研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。
GPT-5-mini 在 WikiEn-Ar190 数据集上作为独立翻译器 COMET 得分为 0.8649,结合自评机制时词汇准确性提升 28.76%。 该数据集包含 18 个领域的 190 篇维基百科文章,经两位阿拉伯语母语者校验;BLEU 分数达到 22.83。 研究证明自主推理方法能提升低资源语言对翻译一致性,为评估和改进翻译提供框架。
研究在相同数据与训练预算下测试五项改动,发现 MoE、Muon 优化器和 Gated DeltaNet 混合带来最大增益。额外归一化有帮助,而参数匹配的注意力门控平均提升微小。 这些改动大部分可叠加,但重复实验揭示了微小交互作用及被初统计误判为噪声的益处。结论限于小模型训练场景,专家模型拥有更大总容量。 实践意义在于应共同测试有潜力的组件,并重复比较以决定保留哪些改动。
ProbMedTOD 提出结合贝叶斯网络与小型语言模型,在 DDXPlus 和 MIMIC-IV Notes 实验中性能优于 LLM-only 及检索基线。 系统分本体构建、结构预测和参数估计三阶段自动合成贝叶斯网络,通过 Agent 维持后验分布并选择诊断问题。 特别增强了小型模型的多轮推理能力。
研究人员提出多元素协同交互(MECI)框架以解决多模态实体链接中的元素主导问题。该框架结合多视图专家网络与层次化多模态交互模块,并利用大语言模型进行零样本重排序。 在 WikiDiverse 等三个基准测试中,MECI 均优于现有最先进方法。其 Hits@1 指标分别提升了 1.95%、7.30% 和 2.31%。
LoopCache 提出了一种针对循环 Transformer 长上下文的自推测解码框架。 它采用置信度引导的动态草稿更新和循环 KV 缓存策略,将每步 KV 流量限制在单一循环内。 实验显示 LoopCache 相比 WFD 和 LoopSpec 分别实现了 10.25 倍和 14.56 倍的加速。
LipSpell 提出一种语言无关的语音评分框架,结合 IPA 显著特征矩阵、键盘几何及语料频率先验,解决传统拼写检查器在处理音位错误时的局限。 在巴西葡萄牙语非 NFD 容忍测试中,LipSpell Top-1 准确率达 73.00%,优于 Norvig 的 66.40%;俄语西里尔字母准确率达 85.67%。该框架支持六种语言跨五个语系及三种文字系统,验证了固定权重迁移的有效性。
这篇 arXiv 论文考察大语言模型生成儿童故事中的性别刻板印象,分析了16个模型在35个国家背景下生成的62,873篇故事。研究发现,面向男孩的故事在叙事框架上比面向女孩的故事表现出更高能动性和更低亲社会性,这些差异是持续但受语境影响的,推动了超越短文本基准的叙事特定偏见评估。
MIRAGE 是一个无需训练的框架,通过相关性感知的双路径推理器(CDR)解决多跳问答中知识注入下的来源信任错误,在多个基准上刷新了 SOTA 记录。 该框架通过基于 P(True) 的置信度路由机制处理冲突知识与全新信息,并辅以轻量级模板引导修正器,在四个 LLM 家族和两个基准上验证了其有效性。
LexTemporis 系统利用 10,901 个韩国上市企业 SME 状态记录,评估 LLM 生成的法律程序正确性。 研究发现过渡条款将结果一致率从 83-86% 提升至 89-90%,且四种 LLM 模型中无单一最优条件。 这表明仅依据审阅者解读进行评分会高估法律程序的实际性能。
提出一种整合 RoBERTa-LoRA、FAISS 检索与 LLM 推理的混合 RAG 框架,用于自动识别垃圾评论。 微调 5 个 epoch 即可实现跨域迁移,跨域评估 F1 分数达 0.90,优于 OpenAI Detector 基线(F1 = 0.82)。 该架构提供基于证据的可解释性,并保持统计显著的精确度提升。
量化压缩在低资源多语翻译中保持质量稳定,但推理延迟未降低。三项模型家族在豪萨语、斯瓦希里语和约鲁巴语上评估,FLORES-200数据集1012句/方向。 INT8和INT4量化内存节省49-61%,但延迟增加1.3-5.3倍,未实现加速。专用MT模型NLLB-200-distilled-1.3B在斯瓦希里语和豪萨语方向比LLM高32.7-43.3 chrF。
研究提出统一视角解析大语言模型在上下文学习(ICL)与离上下文幻觉(OOC)中的功能角色机制。 关键观察显示角色信息内部表示无法可靠约束输出,需满足贡献幅度与符号聚合一致性。因果分析表明角色跨度贡献影响响应结构、内容选择及事实值等关键决策。
ReflectRec 提出一种偏好-历史往返验证器,通过召回分数实现低可恢复性偏好的条件重生成,提升 LLM 推荐准确性。 在 MovieLens-1M 数据集上,该管线在 Hit@10 指标上比 CoT4Rec-ICL 提升 4.46 个百分点,并在 Qwen3-30B、Qwen2.5-72B 和 Llama-3.3-70B 三种 LLM 骨干上均取得正向增益。