跳到正文
10月9日周五
  1. arXiv · AI40

    OpenProblemBench:基于基础理论科学未解难题的AI基准测试

    OpenProblemBench 发布,收录82道来自数学和理论物理的未解难题,用于评估AGI超越既定知识的进展。 基准测试由四个评估模型独立判断解题正确性与进展,无标准答案。在7种配置评估中,GPT-6-Astra 平均解决率为14.0%,开源全尺寸模型为5.5%-6.7%。 该基准为探究AI作为基础理论科学贡献者的能力与局限提供了场景。

  2. arXiv · NLP35

    105个语言模型“选词”测试:46%模型选择Serendipity

    105个语言模型在96个开放式提示中,46%选择了“serendipity”作为“选一个词”的答案。 研究使用96个提示、每模型测试8次,发现大型实验室模型集中度不低于全领域,且轻微后训练模型更具发散性。 在共享类别中,模型群体比人类更集中,监督微调是向群体答案靠拢的最大步骤。

  3. arXiv · NLP25

    DataVista:首个数据视频理解基准评测 Gemini-3.1-Pro 表现

    DataVista 发布,这是首个数据视频理解基准,含 961 个视频和 6,775 道问题,覆盖 19 个 MLLM。 基准采用三级能力框架(数据感知、时间推理、叙事理解)和 10 种细分题型,横跨 5 大主题域。 最佳模型 Gemini-3.1-Pro 整体准确率仅 70.0%,远低于人类专家,因果推理和叙事结构表现最差。

  4. arXiv · NLP41

    重新思考 LLM 评委可靠性:并非所有裁决都等价

    LLM-as-a-Judge 作为 NLP 评估标准范式,其系统性可靠性存在严重漏洞,裁决结果受位置偏差和温度设置显著影响。 研究对 6 个前沿模型进行审计,发现位置顺序交换会导致多数任务裁决反转,最确定性评委虽 100% 一致但与真值准确率仅 51%。 提出可信裁决率 T 指标,证明从成对胜率转向整体评分表能比单一提示词干预更显著提升评估可靠性。

  5. arXiv · NLP26

    多智能体 LLM 谈判中的宪法规则门控与确定性恢复

    针对多智能体 LLM 谈判中的合规死锁,研究构建了包含 5-Pillar 运行时宪章和认知退火的控制栈。 实验采用 Gemini 2.5 Pro 和 Claude Haiku 4.5 进行 30 次运行,数据显示确定性原子清除加规范罢工在 5 次死锁测试中全部成功,而纯 LLM 引导 0 次成功。 该方法在不增加额外模型调用成本的前提下,实现了从死锁状态的可靠恢复。

10月8日周四
  1. arXiv · AI33

    面向自主云 MLOps 的前置全栈工程:基于证据门控的多智能体框架

    论文提出一种证据门控多智能体框架,将自然语言 MLOps 任务转化为经验证的代码仓库及云端部署。 该框架整合图工程、循环工程和智能体架构工程,由 Graph Orchestrator 协调各专业智能体,在 Google Cloud Platform 上实现带边界恢复的运行。 实验结果表明,该框架能阻止缺乏依据的生命周期迁移,并将每次运行导向经验证的部署或可审计的终态失败。

  2. arXiv · AI44

    AlphaFold 3 中的结构捷径:MSA 作为折叠的结构捷径

    AlphaFold 3 通过多序列比对(MSA)将全局蛋白质几何结构预测提前至第9个Pairformer块(共48个块)。 移除MSA会破坏长程结构关系,而将异源MSA仅作用于对应结构位点,可使中位TM-score从0.44提升至0.72。 表明AlphaFold 3提取的是折叠本身的描述而非查询序列的进化史,这解释了其预测精度及局限性。

  3. arXiv · AI22

    推理AI智能体集体随机选择中的输入依赖性偏倚

    六款推理模型的行为测试显示,共享标识符会引发参与相关性,不同标识符的共性时间戳位会导致偏倚。GPT-6 Sol和Gemini 3.8 Flash的单人测量结果可前瞻性预测这些集体行为,而显式独立随机化指令仅能部分消除相关性。在客户请求审计中,GPT-6 Sol虽接近目标选择率但仍可预测,其他模型则极少主动选择。暴露了仅靠选择率无法发现的集体与审计漏洞。

  4. arXiv · AI44

    Google 部署低延迟 AI 智能体 FlowAgent 用于提交前自动修复测试失败

    Google 在内部开发工具 Critique 和 Cider 中部署 AI 智能体 FlowAgent,利用 ReAct 循环实现提交前实时自动修复测试失败。 手动评估显示修复建议准确率为 67.18%;全面部署后共处理 295,508 次变更,开发者最终应用了 28,554 次修复建议。 该智能体提升了自动化软件工程的工业级工作流效率,开发者反馈良好但挑战仍存。

10月7日周三
  1. arXiv · NLP32

    MedQADE:评估德语开放式临床问题中LLM评分者的一致性、偏见与弃权表现

    研究引入包含3,800组问答的德语临床基准MedQADE,由10名医生标注,用于评估LLM-as-a-judge系统。Gemini 3 Flash评分与医生参考标准接近(kappa=0.694),但四个模型对自身回答评价偏高,且医生弃权率随难度增加。结果表明,LLM评估者存在偏见,需医生验证后方可实现自动化评估。

  2. arXiv · ML25

    MASKerade:用于稠密转MoE升级的令牌路由掩码专家方法

    提出MASKerade方法,通过在冻结的预训练FFN上学习稀疏子网络来构建令牌路由的MoE专家,而非独立训练专家。 核心配置采用四个2:4掩码专家与top-2路由,两个半密集专家通路的计算量等于一次密集通路。在五个视觉-语言基准测试中,该配置在Qwen和Gemma骨干模型上取得了高于对比基线的性能。

  3. Google DeepMind82

    EmbeddingGemma 2 发布:端侧开源多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是一款基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数开源多模态嵌入模型,支持将文本、图像、音频和视频映射至统一嵌入空间,适用于端侧推理。

    推荐理由:原文给出了EmbeddingGemma 2的架构、MRL优化机制及端侧部署内存细节,为评估其在隐私RAG与跨模态检索中的实际能力提供了可参照的参数基础。

10月6日周二
  1. arXiv · NLP32

    多语言越狱防御中基于响应的知识蒸馏可能无意中损害安全性

    基于响应的知识蒸馏在多语言越狱防御中应用时,反而推高了学生模型的越狱成功率,最高增加 16.6 个百分点。 研究使用 OpenAI o1-mini 作为教师模型,通过 LoRA 蒸馏至 Meta-Llama-3-8B-Instruct、Gemma-2-2B-IT 和 Qwen3-8B 等开源模型,并移除导致安全退化的“边界”拒绝数据以缓解或逆转问题。

  2. arXiv · NLP36

    将 token 训练模型蒸馏为字节级模型

    论文提出一种高效蒸馏配方,可将现有的 token 训练 LLM 转换为 BLM,且保留可比能力。 该方法采用两阶段课程:先通过渐进知识蒸馏对齐字节级表示,再进行字节级微调,仅用约 125B 字节即可在 Llama、Qwen、OLMo 等模型族上保持教师模型的大部分性能。

  3. arXiv · NLP21

    Wikidata Search Traces:用于训练知识图谱搜索智能体的数据集与递归语言模型框架

    研究团队发布包含 10,235 条搜索轨迹的数据集,并配套 RLM 框架,旨在通过管理检索证据解决长程知识图谱搜索难题。 该框架让模型在持久化 Python 状态中批量调用图谱接口,避免将大型结果直接塞入上下文窗口。 在 100 道测试题中,RLM 框架使 gpt-6-luna 正确率从 49 提升至 61,Qwen3.8-27B 从 60 提升至 74。

  4. arXiv · ML30

    行星地理空间基础模型:全球公共卫生的新范式

    Google Earth AI 推出人口动态基础模型 PDFM,通过编码多模态信号生成可泛化的地点表征。 PDFM 在疫苗、传染病等领域应用于美国、加拿大、墨西哥及刚果(金)四个国家,涵盖空间外推等五项任务。 该模型填补了关键监控空白,如提升边境 MMR 疫苗接种率预测及登革热短时报警,但需结合个体社会经济数据使用。

  5. Google Research41

    Google CAPS 研讨会报告:智能体隐私与安全的语境化挑战

    Google 发布新报告,聚焦自主智能体在隐私与安全上的新兴难题。报告由 50 余位专家协作完成,基于语境完整性理论分析代理行为的适当性。 报告指出传统软件防御失效,需构建系统沙箱、模型推理及用户控制的多层防御机制。特别强调通过动态策略引擎,在执行前评估数据流动是否符合社会规范,确保智能体行为在特定语境下合规。