跳到正文
10月14日周三
  1. arXiv · NLP64

    ChatGPT 健康建议安全评估:基于全球南方四国 20 万真实对话

    研究利用来自印度、尼日利亚、巴西和巴基斯坦的 202,590 条真实用户对话数据,对 ChatGPT 的健康建议进行首次基于人口统计特征的安全评估。结果显示,约五分之一的健康对话被评定为高风险,其中药物剂量错误、有害自我诊断及缺乏安全警示为主要失败模式;引入用户历史上下文可使高风险占比提升 13-17 个百分点,且约四分之一在孤立评估中看似安全的回复在特定个人情境下实为不安全。

    推荐理由:基于全球南方四国 20 万真实对话,量化 ChatGPT 健康建议中约 20% 的高风险比例及上下文缺失导致的评估偏差。

  2. arXiv · ML36

    LLM 评估是一个预测问题

    研究发现 Web 文本具有高度非平稳性,模型性能随时间连续变化,时间序列预测器比历史性能数据更能准确预测 LLM 未来表现。 基于近期评估数据的预测结果选择部署模型,比直接依赖历史性能指标更可靠,从而提升了下游任务的准确性。 作者主张在 LLM 评估中将时间视为基本变量,并开放了相关代码和数据。

  3. arXiv · AI41

    基于可验证信息奖励训练多智能体协作 LLM:引入 CoSIR 方法

    研究人员提出 CoSIR,一种基于惊讶度信息奖励的后训练方法,通过可验证环境提升 LLM 多智能体协作能力。 该方法对 Qwen3-4B、Qwen3-8B 和 Gemma-3-4B-it 进行自博弈后训练,在七个未见自然语言协作任务中取得最高综合得分,且通用任务表现保持竞争力。 行为分析显示模型更频繁披露私有证据,并减少了对队友输入的忽视,验证了该方法在复杂未知任务上的泛化潜力。

  4. arXiv · AI39

    Sauron:基于证据优先的 Agentic 验证器

    Sauron 提出一种证据优先的 Agentic 验证器,在 2,586 个人工标注标准上以更低成本实现最高 F1。 采用有界查询和联合调查机制,支持 GPT-5.6 Sol 时 F1 达 0.96,成本比基线低 23%。 在 13 类故障注入测试中检测出 97% 失败,TRAIL 基准三项质量指标均领先基线。

  5. arXiv · NLP29

    RelLedger:面向 LLM 智能体组织的关联性信息治理

    RelLedger 提出一种审计框架,用于追踪 LLM 智能体组织中的关系驱动决策。该框架通过交叉比对发送方历史、事件目标及无关行为者,定位控制线索。 在 GPT、Claude 等模型测试中,Claude 在冲突历史下发送通知概率高出 62.22 个百分点;紧张历史使接收方审查率降低 45.83 点。 该研究揭示了模型特异性控制路径,并验证了显性损失规则下关系差距缩小的现象。

  6. arXiv · NLP42

    生成式引擎优化(GEO)研究:内容、检索与模型知识如何驱动 AI 引用

    针对 158,099 条答案与 468,037 个引用的分析表明,生成式引擎的检索机制比页面属性更能解释引用差异。 引擎搜索检索解释 32% 的引用变异,而页面属性仅占 2.8%。内容主要通过匹配引擎重写的查询语义起作用,而非 FAQ 等结构化元素。 研究在小型 B2B 市场复现了相关发现,并公开了数据与代码。

  7. arXiv · AI41

    mini-Lean-agent:Lean 定理证明编码 Agent 基线

    研究团队推出极简编码 Agent mini-Lean-agent,证明通用 Shell 交互足以胜任 Lean 定理证明任务。 以 Gemini 3.8 Flash 为基座,该 Agent 在 Putnam 2025 基准中解决 7/12 题,成本 $2/题。 作为标准基线,其结果挑战专用工具栈的必要性,推动评估方法向通用 Agent 范式靠拢。

  8. arXiv · AI39

    大语言模型对手建模诊断框架:区分适应性与心理理论

    研究提出重复捉迷藏基准与诊断框架,利用递归信念更新区分适应性游玩与信念追踪。 在Qwen2.5-7B-Instruct与GPT-5.4测试中,提供对手真实信念显著提升行动预测准确率,而模型自主推断信念表现受限。 该框架揭示了利用信念信息比自主推断信念更易,为评估大语言模型心理能力提供新标准。

  9. arXiv · NLP35

    TrialPD-Bench 与 TrialScribe:长文档编码代理在临床试验方案数字化中的表现研究

    研究人员提出 TrialPD-Bench 基准与 TrialScribe 代理框架,用于评估编码代理在临床试验方案数字化中的表现。 TrialPD-Bench 包含 150 份专家标注的方案 PDF,覆盖 4 类任务;TrialScribe 使本地部署的开源权重模型在 8 项指标上提升 6.2-59.4 分。 结果使该开源模型达到或超过 GPT-5.6-Sol 等专有模型的表现水平。

  10. arXiv · AI43

    EvoWeb: 面向演化型 Web 应用的编码智能体基准测试

    研究团队推出基准测试 EvoWeb,通过 32 个 Web 应用的 320 个累积请求评估编码智能体。 智能体在持久代码库中迭代修改,多模态 Web 智能体在实时浏览器中测试每个中间应用,评估新功能、跨请求集成及既有功能。 实验表明跨请求集成是关键挑战,依赖更深的后续请求解决准确率更低,运行时错误随请求次数增加而变多。

  11. arXiv · ML30

    VLMeg:基于探索增强关键观测门控的具身强化学习视觉语言模型奖励设计

    提出VLMeg方法,将视觉语言模型从奖励回归器转变为成功检测器,通过探索增强关键观测门控机制优化具身强化学习。 门控机制通过判断相似性避免冗余调用并提升检测精度,引入高级探索激励以提高奖励触发效率。 在MetaWorld基准上实现从头开始强化学习的SOTA结果,胜过12个无奖励任务的基线,并验证了3个现实世界实验的有效性。

  12. arXiv · NLP26

    语言模型对事实错误的回应无效且模糊

    研究发现,当语言模型反驳用户错误事实时,常使用间接措辞并混合肯定,导致纠正效果不佳。 研究构建了短语级标签框架,在英语、德语、中文、印地语和约鲁巴语五种语言中应用分析。 一项包含 300 名参与者的大规模人类研究表明,这种回应模糊性可能无法有效纠正或预防用户的认知错误。

  13. arXiv · ML24

    LeHami:利用辛动力学改进JEPA世界模型的长程预测

    研究者提出 Symplectic Hamiltonian JEPA (LeHami),通过在结构化潜在空间中应用动作条件哈密顿流,解决了传统 JEPA 长程生成时潜在分布收缩问题。 该方法采用精确辛跃蛙积分步长,严格保持相空间体积,避免了潜在状态合并,并支持未见过步长下的精确积分。 在保守和受控摆环境中,LeHami 显著提升了长程速度预测性能,为潜在世界模型提供了新的推理时几何保证。

  14. arXiv · ML27

    SIDERIUS:超越分数优化的 LLM 智能体系统,用于长周期物理时间序列机器学习开发与评估

    提出 LLM 智能体系统 SIDERIUS,旨在通过多层科学评估协议避免模型过拟合或作弊,推动物理时间序列机器学习向科学有效方向长期演进。 在 TIDMAD 基准测试中,采用 GPT 驱动器的 SIDERIUS 实现 63.8% 的有效模型提议率和 2.744 的最佳有效去噪分数,优于普通 Codex 代理的 1.6% 和 -0.647 结果。

  15. arXiv · NLP35

    基于均匀信息密度的偏好优化算法 UIDPO

    研究人员提出基于均匀信息密度理论的偏好优化算法 UIDPO。该算法结合全局标准差和局部二阶差分构建信息均匀性指标,并将其整合进偏好优化目标。在 AlpacaEval2、ArenaHard 和 MT-Bench 上,UIDPO 取得了与 SimPO 相当或更好的性能。 语言学的细微偏好有助于提升大语言模型的人类对齐效果,代码库已公开。

  16. arXiv · AI52

    arXiv 论文:无约束 CTI-REALM 下开源权重模型性能评估

    一项新研究在移除消息数限制的 CTI-REALM 基准测试中发现,开源权重模型在将威胁情报转化为检测规则的任务中表现优于部分闭源模型。评估涵盖 26 个模型,结果显示在解除限制后,开源模型的奖励分数最高,且不同模型在任务不同阶段表现各异,建议根据阶段路由而非单一总分选择模型。

  17. arXiv · AI31

    扩散模型纠错训练

    扩散模型纠错训练方法旨在解决推理时预测输入与训练分布不一致导致的误差累积问题。 该方法通过额外引入纠错器来训练和迭代提升去噪器在中间步的预测,显著改善了无引导生成的FID分数。 结合CFG能进一步提升多样性并减少过度饱和,训练后的纠错结果可蒸馏回基础模型以抵消额外的推理成本。

  18. arXiv · AI48

    ClawLoop:通过 Harness 原生训练循环实现自我改进的 Agent

    ClawLoop 框架无需外部教师模型,通过任务合成、SFT/RL 训练及诊断反馈三阶段循环实现 Agent 自我改进。 使用 Qwen3.6-27B 作为循环模型,ClawLoop 在 SkillsBench 等基准测试中取得一致提升,优化任务可迁移至 Qwen3.5 小模型。 验证了训练数据质量独立于循环模型,打破了对强外部模型依赖的限制。

  19. AWS Machine Learning Blog61

    AWS 发布 AgentCore 支付功能,支持 Anchor Browser 自动完成 x402 交易

    Amazon Bedrock AgentCore 推出支付功能,与 Anchor Browser 集成支持 x402 协议,让 AI 智能体自动处理按请求计费的网页和 API 访问,免去 402 支付响应的人工干预。

    推荐理由:AWS 官方详解了 AgentCore 支付方案如何支持 x402 协议,让智能体在保持安全边界的前提下,自动完成按请求计费的网页和 API 访问。

  20. AWS Machine Learning Blog36

    AWS License Manager 自动化激活 Amazon Bedrock 私有定价权益

    AWS 推出自动化方案,简化多账户环境下 Amazon Bedrock 私有定价权益(MPPO)的激活流程。 方案提供轻量脚本与 CDK 事件驱动两种路径:前者用于一次性信任激活,后者自动验证卖家并创建分布式许可,支持组织级批量授权。 自动激活确保谈判价格在许可生效后立即适用,避免手动操作遗漏,并通过 CloudWatch Logs 提供完整审计记录。

10月13日周二
  1. AWS Machine Learning Blog71

    AWS Bedrock 教程:如何在五个亚洲 Region 调用 OpenAI GPT-6 全球跨 Region 推理模型

    AWS Bedrock 支持通过全球跨 Region 推理 profile 在泰国、马来西亚、新加坡、印度尼西亚和台湾调用 OpenAI GPT-6 Sol、Luna 和 Astra。

    推荐理由:教程明确了跨 Region 推理在计费、IAM 与 SCP 层面的落地要点,便于读者评估企业网络下的接入成本与合规配置。

10月12日周一
  1. arXiv · AI48

    当前 AI 基准测试遗漏维度:ChatGPT 模态、搜索、引用与安全评估研究

    针对 ChatGPT 模态与基准测试的研究发现,开启网络搜索可使模型准确率最高降低 8 个百分点,且重复测试中高达 21% 的提示词产生不一致回复。 研究分析了 401 个提示词与 4,812 次响应,对比了 Chat UI 与 API 在 BBQ 和 SafetyBench 上的表现,并发现不同模态的引用来源和拒绝回答行为存在差异。

  2. arXiv · AI49

    LLMail-Inject 数据集发布,揭示 GPT-4o 等模型在面对自适应提示注入攻击时高达 58% 的攻击成功率。

    该基准包含 208,095 个人工撰写的提示词,要求攻击需绕过生产级防御并触发工具调用。Meta SecAlign 模型仍存在 32% 的攻击成功率,且攻击在代码任务中可迁移。 论文被 EMNLP 2026 录用,旨在推动对动态、高保真提示注入攻击的评估,填补现有基准饱和的空白。