跳到正文
11月5日周四
  1. arXiv · AI44

    ServerBench:编码智能体如何设计专用 LLM 服务系统

    ServerBench 基准测试显示,在 11 个编码智能体模型中,Claude Sonnet 5.5 在 Gemma E4B 上实现 2.97 美元/美元收益,达到 vLLM 参考系统的 $4.87\times$。 该基准采用有状态重放和独立验证,33 次运行中 22 次产出可用系统,其中 13 次超越最强基线。 分析发现,高价值设计需协调容量与负载选择,且可靠交付依赖于对优化执行路径的验证。

  2. arXiv · AI34

    利用缓存轨迹实现任务高效的智能体评估

    研究提出用 LLM 提取轨迹结构化摘要并经文本编码器嵌入,构建低维系统表示以预测新系统评分。 该方法在 SWE-bench Verified 和 Terminal-Bench 2.0 上将平均绝对误差分别降至 0.08 和 0.12。 通过几何预测增强项目响应模型,在给定参考系统集时表现优于基线。

  3. arXiv · AI52

    LifeVal:评估 AI 模型在个性化智能体消费者任务中的表现

    研究者发布 LifeVal 基准,用于评估 AI 模型在 148 个高价值个性化消费者任务上的表现。该基准覆盖年度支付意愿超 1.7 万亿美元的生活场景,基于 3800 名消费者的调研数据构建活动分布。评测任务由具备多年实战经验的创建者使用真实 ChatGPT 对话和记忆数据生成,并经过至少三轮人工质量控制。

  4. arXiv · AI57

    NVIDIA发布Cosmos物理AI交互式世界模拟框架

    NVIDIA发布名为Cosmos的共享框架,适配世界基础模型以支持物理AI的实时交互式世界模拟。该框架通过流式视觉观测响应用户动作与场景控制,支持预测动作的视觉后果以及从外部模拟器维护的物理状态生成观测。研究展示了相机导航、机器人操作、可控视频迁移和多视角自动驾驶模拟等示例,代码与模型检查点已公开。

  5. arXiv · AI28

    时间分复用:数字生命的操作节奏与时间组织层

    针对持续智能体,该研究提出一种包含相位标记微纪元和时间分复用的时间组织层,以分离在线忙碌与离线空闲通道。模型在紧急/高负载子集上的解耦调度成功率达 26.6%,耦合调度仅为 11.1%。 使用冻结的 Qwen3-8B 骨干作为原型验证编排逻辑,但在代理结果上无法作为任务基准证据。该设计建立了一个可测试的调度框架,并明确了其有效条件。

  6. arXiv · AI41

    MA-Mesh:基于角色的自愈型多智能体协作框架

    研究团队提出 MA-Mesh 框架,通过构建基于角色的自愈层,使多智能体系统在动态环境中显著提升任务表现与鲁棒性。 框架包含两大核心机制:跨智能体反思允许智能体评估同伴表现以优化集体策略,基于角色的故障转移则在子任务失败时动态重分配角色以保障执行连续性。 该工作已被 EMNLP 2026 主会议接收。

  7. arXiv · AI23

    HarnessFlow:基于 MCTS 的 LLM 智能体 Harness 优化框架

    HarnessFlow 提出一种在受限预算下优化 LLM 智能体 harness 的框架,利用 MCTS 策略平衡探索与利用。 在 6 个基准测试中,每个测试 15 次精炼后平均得分达 69.48%,比初始 harness 高 10.89 个百分点。 优化后的 harness 平均单任务执行成本低于手工设计的基线,为自动化 harness 设计提供了可行路径。

  8. arXiv · AI34

    ModalSearcher:将视觉证据融入自主跨模态深度搜索

    ModalSearcher 通过强化学习在实时 Web 环境中训练,提出自主跨模态搜索能力,平均准确率比 Qwen3-VL-8B 提升 16.2 分。 该 Agent 在五个多模态知识密集型问答基准上表现一致提升,并可处理跨模态多跳任务。 研究为构建能动态切换模态、主动引入视觉证据的智能体提供了可扩展路径。 ```

  9. arXiv · AI41

    Reglos: 通过递归自我改进实现自进化的个人记忆智能体

    Reglos是一款无需训练的个人记忆智能体,旨在验证其代码框架优化在目标失败案例之外的泛化能力。 它通过一个编码智能体从失败日志中提出补丁,并由另一个模型家族的批评者筛选以防止基准测试作弊。在相同的底层模型支持下,Reglos在PersonaMem-v2和LongMemEval-S测试中均优于Mem0、MemOS和EverOS等SOTA系统。

  10. arXiv · AI28

    视觉语言模型如何基于视觉数据在不确定性下做出决策

    这项研究评估了由视觉语言模型驱动的AI智能体在不确定性下的决策过程,发现 GPT-4o 在感知饼图和条形图的不确定性时准确率最高。 研究发现,当不确定性通过圆形图表、图标数组或文本表示时,自主智能体的决策表现与理性决策理论的对齐程度最好。该研究基于可视化素养和决策理论,分析了不同模型和可视化类型下的感知准确性与决策表现。

  11. arXiv · AI31

    自适应记忆选择提升 LLM 智能体性能

    研究提出 OPSD 方法结合权重与文本记忆,在 HaluMem 基准上匹配或超越强基线。 权重记忆通过 on-policy self-distillation 训练无上下文学生模型,显著降低查询时的 token 读取量。 该方案为多会话持久化部署提供了低成本、高效的记忆组件,并明确了混合检索的训练评估协议。

  12. arXiv · AI27

    基于保证条件的持续授权(ACCA)方法:面向自主 AI 智能体的安全性机制

    论文提出基于保证条件的持续授权(ACCA),旨在为自主 AI 智能体提供与工具、委托及环境变更兼容的运行时权限管理。 ACCA 通过区分证据有效性与上下文适用性推导权限声明,支持选择性重新评估与防呆行动拒斥,并采用本地交易网关场景验证其回归测试效果。 该方案在单一交易领域建立实施级证据,强调域治理配置不直接授予权限,但非跨域有害行为预防保证。

  13. arXiv · AI49

    ViBench 2.0:长程软件构建基准

    Replit 推出 ViBench 2.0 基准,用于评估长程软件构建能力。该基准包含 17 个全栈 Web 产品,基于 241 个功能请求,由浏览器智能体执行 544 个测试计划进行评分。 评测显示最强模型仅能交付 65% 的完整可用产品,且无开源模型达标;某模型家族 pass@1 从 3% 升至 53%,单次构建成本下降过半。

  14. arXiv · AI28

    VTHarness:跨复杂临床模式协调虚拟试验协议智能体执行的框架

    VTHarness 智能体框架通过选择可重用程序技能和使用显式契约,协调虚拟试验的执行与决策。 在三个复杂合成环境中,VTHarness 在需求澄清后生成的必需队列输出与参考匹配度达 95.1%,远超检索方法的 60.4%。 该框架支持 Mayo Clinic 虚拟试验项目中对队列构建和终点分析的审查,提升了跨复杂临床模式的虚拟试验实施。

  15. arXiv · AI35

    ReScopeBench:面向长寿命智能体的经验生命周期评测基准

    研究人员提出 ReScopeBench,这是首个在 18 个交互环境中评测智能体经验生命周期的基准。 该基准通过“经验优先”构建方法,区分结构与规则经验,并引入环境静默变化以测试智能体的更新能力。 在评估 20 个模型后,研究发现保留经验虽能提升任务表现,但智能体普遍难以维持经验的时效性。

  16. arXiv · AI33

    面向 Agentic AI 系统的感知不确定性的资源编排:提出 CRO 算法

    针对 Agentic AI 系统资源需求不可预测的问题,论文提出了 CRO 算法,在调度时为计算和带宽预留资源并验证截止期限满足概率。 CRO 是一种在线算法,利用过去执行轨迹的滑动窗口,通过 conformal prediction 提供有限样本的无分布覆盖保证。 CRO 是唯一在所有风险水平下同时满足目标概率覆盖的方法,且与 Chebyshev 界基线相比,资源浪费大约减少了一半。

  17. arXiv · AI23

    证据门控下的 LLM 审查机构权限:谁可以推翻智能体?

    研究提出证据门控机制以限制多智能体系统中 LLM 审查者的过度覆盖权限。在 96 项任务基准中,该机制显著减少了对正确提案的破坏,同时保留了违规修复能力。 Qwen 模型在该机制下消除了正确提案破坏,但 Mistral 仍替换了全部 48 个正确提案,且拒绝了所有仅涉及福利的修复。

  18. arXiv · NLP26

    OTAP: 面向智能体轨迹规划与执行评估的结构感知最优传输方法

    提出基于非平衡融合 Gromov-Wasserstein 传输的 OTAP 指标,用于评估大语言模型智能体轨迹,解决二元成功标志无法区分合理方案与侥幸成功的问题。 在三个公开基准测试中,当语义指标表现低于随机水平时,OTAP 能有效区分有效与无效轨迹;盲测 236 条轨迹显示其与人类判断一致性最高,且对边缘噪声敏感度低于结构感知基线。

  19. arXiv · NLP59

    LITMUS:真实操作系统环境下 LLM 智能体行为越狱评测基准

    研究团队提出 LITMUS 基准,用于评估 LLM 智能体在真实 OS 环境中的行为越狱风险。该基准包含 819 个高风险测试案例,采用语义-物理双重验证机制和 OS 级状态回滚功能。评测发现当前前沿智能体缺乏有效安全意识,Claude Sonnet 4.6 仍执行了 40.64% 的高风险操作,且存在用户不可见的执行幻觉(EH)现象。

  20. arXiv · NLP32

    长期记忆 Agent 的记忆基质统一评测:无单一最优方案

    该研究构建了包含 26 项指标的统一评测体系,在受控环境下对比了 11 种长期记忆 Agent 记忆基质,并得出没有单一基质能持续主导所有场景的结论。 实验覆盖稠密索引、文本记录等类别,使用 3 个骨干模型在 4 个基准套件上评估。结果表明宽泛检索利于长上下文事实问答,但会损害顺序决策性能。

  21. arXiv · NLP24

    RADIUS:用于调查模拟的综合对齐评估套件

    研究人员提出RADIUS套件,用于评估大语言模型在模拟调查时的对齐度,涵盖排名、分布及统计显著性三个维度。 该套件通过实验揭示了单一指标的局限,能发现分布改进但错误识别人类首选选项的情况。 RADIUS已开源,旨在支持调查模拟器的可复现和可比性评估。

  22. arXiv · NLP20

    DIAL:用于多轮对话模拟的直接迭代对抗学习

    DIAL 提出一种对抗框架,通过生成器与判别器迭代竞争提升多轮对话用户模拟器的真实度。 在心理健康支持领域应用 DIAL,恢复了监督微调导致的词汇多样性下降,并大幅降低了判别器准确率。模拟失败率与真实情况强相关,为部署前评估提供可靠且低成本的方法。

  23. arXiv · NLP31

    LLM 社交模拟中的人口对齐人格生成框架

    研究人员提出新框架,通过重要性采样使 LLM 生成的人口对齐人格与 Big Five 心理特征分布匹配,显著减少模拟偏差。 该框架先从社交媒体数据生成叙事人格,经质量评估后利用任务特定模块适配目标子群体,实现高保真的群体模拟。 此方法增强了 LLM 驱动的社会模拟准确性,为计算社会科学和公共政策研究提供新的计算机会。

  24. arXiv · NLP29

    多轮强化学习如何真正提升 LLM 智能体表现?

    研究显示多轮强化学习(RL)在 LLM 智能体上的增益高度依赖交互预算,当轮数预算收紧时轨迹级优势会显著减弱。其核心优势集中于错误恢复与长程韧性,而非均匀提升单步决策质量。 针对部署风险,论文提出 BudgetMix RL 作为替代方案,在训练中动态调整交互预算。实验表明该方法能在多种执行设置下保持稳健性能。

  25. arXiv · NLP29

    LegalEvolver:基于规则引导自我演化的法律判决预测智能体框架

    研究人员提出 LegalEvolver 框架,通过规则引导的自我演化优化检索查询,解决法律判决预测中查询质量低的问题。 该框架利用启发式优化查询作为种子,将轨迹经验总结为动态规则,并结合强化学习实现多轮迭代自我演化,突破模型初始性能上限。 在广泛基准测试中,其端到端性能证明查询优化的有效性,且动态规则优于固定规则,证实了自我演化的益处。

  26. arXiv · NLP33

    基于自主智能体的电力系统规划框架评估

    该自主规划框架在四个国家的五个电力系统中评估了40条碳约束轨迹,所有候选方案均满足固定的年度运营碳预算检查。 智能体通过执行年度投资与调度优化及馈线验证,保留最低成本的合格方案;其中28条轨迹匹配参考设计并超过新场景上限。另有96条轨迹在1,000 Mt年度上限下提供匹配参考。