跳到正文
10月30日周五
  1. arXiv · AI28

    DecompGym 基准测试 LLM 智能体设计分解算法能力

    研究者提出 DecompGym 基准,包含 81 个实例,用于评估 12 款 GPT、Claude 和 Gemini 模型在编码智能体环境中设计 Benders 分解和列生成算法的能力。 评估要求求解器在 60 秒内运行且目标值误差小于 1%,结果发现反思机制可将重试成功率从 39% 提升至 66%,表明智能体需要过程检查与错误定位反馈。

  2. arXiv · AI33

    SkillCT: 智能体技能多维评估基准与免执行基线

    该研究提出 SkillCT 基准,通过静态、动态及人工辅助评估的九个维度全面刻画智能体技能质量。 针对现有基准依赖特定工具与重复执行的问题,论文构建了一种免执行质量评估基线,通过检索相似参考技能来预测未知技能的质量画像。 这种方法在保持评估一致性的同时显著降低了 token 消耗与评估时间,并证明了其用于技能优化与仓库维护的价值。

  3. arXiv · AI30

    基于LLMON后训练大语言模型以增强执行控制与安全性

    提出LLMON框架及后训练方法,实现指令与数据分离及显式标识符执行,通过4.6B token结构语料对Granite-4.1模型(3B和8B)进行监督微调及强化学习。 LLMON结构化监督将间接提示注入基准的攻击成功率从53-100%降至0.02-5.6%,同时保持通用能力。 方法无需修改架构,通过标准后训练教学执行语义,并引入基于注意力的可解释性指标诊断故障模式。

  4. arXiv · AI21

    评估大语言模型在科学应用中的表现:以惯性约束聚变为例

    该研究构建含250道题目的惯性约束聚变基准测试,对比闭源、开源模型与专家定制模型Prospero。 Prospero经领域预训练和微调后,总分较基座模型提升10.7个百分点,但前沿模型在数值计算中仍存在关键物理错误。 研究表明领域专项能力可提升,但基准分数不能直接确立科学可靠性,需结合检索和专家评估。

  5. arXiv · AI38

    VerifiedLab:面向多智能体的知识库验证框架

    VerifiedLab 提出了一种多智能体框架,用于将验证后的科研记录转化为机器可用的知识库。框架由规划者、事实计算者等角色组成,通过逐字段验证数据可靠性后再发布内容。 该框架在钙钛矿太阳能电池领域实验中表现出色,能够恢复已知物理趋势并预测一年后续报告的器件性能。通过扩展推理时验证计算,验证了知识传播的新路径。

  6. arXiv · AI21

    Seq@K:语言模型在顺序反馈下的评估协议

    研究人员提出Seq@K评估协议,用于衡量模型在K次顺序尝试中利用反馈迭代解决问题的能力。 该协议在7个基准测试和16个前沿模型上验证,揭示模型排名常与Pass@K指标不同。 分析显示,反馈循环的设计对模型迭代精炼行为有显著影响,需纳入智能体系统评估体系。

  7. arXiv · AI33

    智能体智能合约合成中的意图丢失测量

    研究提出先澄清需求的架构,发现相比后续审查,预先提问对保留用户意图的影响显著更大,且该结论在三个 AI 模型上均成立。 自动化安全修复常破坏既定行为,少量精挑细选的问题可恢复简短描述中遗漏的需求,相关工具与 600 个任务已开源。

  8. arXiv · AI35

    WebAnything:从真实网页构建可复用的智能体交互环境

    研究者提出全自动框架 WebAnything,能够从 244 个真实 URL 重建可复用的网页智能体交互环境,并支持 12,984 个可执行任务。 该框架在三项保真度指标上全面优于人工辅助的 WebHarbor,且基于 5,856 条交互轨迹微调 Qwen3.5-9B 后,在 WebArena-Verified 上的任务成功率提升了 13.33 个百分点。

  9. arXiv · NLP32

    构建大语言模型新兴社会科学的映射框架

    该研究结合198篇精选文献与47,719篇已发表论文,通过文本嵌入和主题模型将领域划分为13个子类。 三大核心领域分别为LLM as Social Minds、LLM Societies及LLM-Human Interactions。 研究指出当前对LLM认知与社会行为底层机制的理解存在缺口,呼吁建立跨领域共享基准以夯实证据基础。

  10. arXiv · NLP33

    RePolicy:学习为 Agent 安全防护选择并应用安全策略

    RePolicy-4B 提出了一种联合学习策略选择和安全评估的 Agent 安全防护方法,在六项基准中取得了领先的安全检测性能。 该方法通过随机化策略顺序和干扰项来减少捷径学习,并构建了包含 20,000 多条轨迹的 PolicyTraj-20K 数据集进行训练。 研究结果表明,安全防护系统能够自主学习判断 Agent 行为时应使用的具体安全要求。

  11. arXiv · NLP30

    ContextEcho: 长程 Agent 编码会话中人格漂移的基准测试

    研究引入 ContextEcho 基准,通过 25 项探针测试集和 57 个长会话语料,揭示前沿模型在数千步 Agent 交互中普遍存在早期人格漂移现象。 该框架采用“快照-探测”协议评估状态,发现会话内压缩无法重置漂移,但单次锚点可恢复原始助手人格;漂移前缀提升了工具调用保真度,却在无工具聊天中破坏了输出格式契约。

  12. arXiv · NLP25

    CHI-Bench:医疗AI智能体能否自动化端到端长周期工作流?

    CHI-Bench 基准测试显示,当前最佳 AI 智能体仅能解决 28.0% 的长期医疗工作流任务,在严格 pass^3 标准下无一智能体得分超过 20%。 该基准涵盖 20 个医疗应用和 87 个 MCP 工具,任务基于 1,290+ 文档的管理手册,包含多角色交互和多轮对话。 单次会话执行所有任务时性能降至 3.8%,表明政策密集型领域存在类似自动化差距。

  13. arXiv · NLP21

    Anagent:用于增强科学图表分析的多智能体框架

    Anagent 提出一种多智能体框架,结合 AnaBench 基准测试,在科学图表分析任务中显著提升性能。 该框架包含 Planner、Expert、Solver 和 Critic 四个专用智能体,通过监督微调和强化学习优化。 在无训练设置下提升最高达 13.43%,微调后提升最高达 42.12%,涵盖 9 个科学领域的 63,178 个实例。

  14. arXiv · NLP23

    LLM 辅助在线对话中欺诈与概念漂移联合检测

    提出 LLM 辅助的两阶段在线对话欺诈检测框架,联合识别欺诈行为与概念漂移。 先以集成分类模型初筛可疑对话,再用单类漂移检测器 OCDD 分析漂移;有漂移时由 LLM 判断欺诈或正常话题转换,无漂移则推断为垃圾信息。 在社交工程聊天数据集上验证,提高实时欺诈检测准确率与可解释性,并对比双 LLM 基线。

  15. arXiv · NLP21

    VeriCUA: 通过智能体探索实现计算机使用智能体的验证

    VeriCUA 提出一种平台无关的验证框架,通过智能体探索将验证视为动态证据收集与评估。该框架在构建任务评分标准后,针对未解决需求选择 GUI 或代码检查,并依据显式证据规则综合结果。 实验表明,VeriCUA 在离线和在线设置下均优于基线,尤其在离线难题上表现更佳,并增强了对在线虚假完成声明的拒绝能力。

  16. arXiv · NLP32

    Prefix Executability: 超越最终成功率评估工具使用智能体的轨迹执行可靠性

    提出“前缀可执行性”协议以评估工具使用智能体轨迹,定义前缀可执行性曲线(PEC)等指标。 在 BFCL-v3 和 ToolSandbox 等基准测试中发现,仅关注最终成功率会掩盖轨迹执行缺陷,显式的预执行计划检查能改善可执行前缀存活率。 该协议为诊断智能体失败和评估验证机制提供可操作的可靠性信号。

  17. arXiv · NLP31

    CEDAR智能体LLM在儿科糖尿病多模态病历结果预测中的研究

    CEDAR智能体LLM在儿科2型与1型糖尿病队列中预测性能优于传统机器学习,综合AUC分别达0.815和0.756,在稀疏筛查结果上优势显著。 系统引用的70,246个数值中仅4个不匹配病历;两名儿科内分泌专家仅基于其引用证据和推理,在约90%案例中预测与CEDAR一致,专家间一致性为90.5%。

  18. arXiv · NLP29

    EpiAgent: LLM Agent 的知识论自我博弈框架

    EpiAgent 为 LLM 智能体引入可学习知识论层,通过知识更新与行动规划双阶段自我博弈优化策略。 该框架将策略分解为基于交互历史更新信念及基于知识论状态选择行动,利用内在预测奖励评估信念推断。 实证结果显示其在混合与竞争场景下持续优于提示工程和强化学习基线方法。

  19. arXiv · NLP26

    AgentHeal:评估网络智能体在访问受阻时的目标保持资源恢复能力

    该研究提出 AgentHeal 基准,用于评估网络智能体在面临访问障碍时,识别永久性阻碍、转向合法替代来源并保持用户原始目标的能力。 在涵盖九类障碍家族的测试中,主流 LLM 骨干的平均任务成功率从 89.4% 骤降至 43.7%。 分析表明智能体常陷入欺骗性相似源、未能适时升级求助、违反访问政策或浪费计算资源进行无效重试,为开发更具韧性的网络智能体提供了可操作诊断。

  20. arXiv · NLP27

    预测奖励而非世界:面向 ML Agent 的世界奖励模型

    论文提出 World Reward Models (WRMs),让 Agent 直接预测哪个候选程序表现更好,避免预测执行结果带来的误差。 WRM 将 9B 模型适配至 5k 程序对,在 12,438 对测试中以 79.4% 准确率识别优者,优于通用 LLM 评委的 53-62%。 在 AIDE 等框架中,WRM 将平均任务耗时缩短 4.4-7.5 倍,且均值分数波动在 0.01 以内或有所提升。

  21. arXiv · NLP33

    SciGame:基于反事实环境的科学发现大模型智能体基准

    SciGame 是一个将科学文献转化为结构化卡片的受控基准,生成包含相同任务界面的原环境与维度一致的反事实环境。基准涵盖历史定律及模型知识截止后论文组成的实时时序集合,在候选引导识别与开放式发现两种设置下测试智能体。 实验表明,在改变支配关系后熟悉的先验知识会损害性能;自适应实验对强模型有益但对弱模型有害;优秀的解释可能掩盖定量失败,恢复精确符号形式仍是主要瓶颈。

  22. arXiv · NLP31

    PoPLi 检测 AI 智能体间隐蔽合谋的行为测试方法

    研究提出名为 PoPLi 的行为测试,通过对比伙伴与局外人智能体在消息改写后的行动差异,检测是否存在隐蔽合谋。在 5 种模拟市场条件下,存在代码时 PoPLi 数值为 0.48 至 0.59,无代码时为 -0.10 至 -0.01。该方法能有效区分消息监控未能识别的隐蔽私有通道,仅能检测基于代码的合谋,无法识别纯激励驱动或语义承载的合谋。

  23. arXiv · NLP47

    Agentic Backdoors via Pretraining Poisoning 研究:在 Qwen3 模型中植入远程代码执行后门

    研究首次证明 LLM 预训练数据投毒可在 AI 智能体中植入远程代码执行后门。实验从零预训练 0.6B、1.7B 和 4B 的 Qwen3 模型并后训练为 CLI 智能体,仅投毒 0.1% 语料即可植入后门。 4B 模型在 0.1% 投毒率下攻击成功率约 92%,投毒率降至 0.0005% 时仍有效,且代码已开源。 该研究揭示了大规模网络爬取语料在模型安全层面的脆弱性。

  24. arXiv · NLP29

    OpenFrontiers:开放研究问题集合与科学重发现基准

    OpenFrontiers 发布了一个包含 12,151 个问题的跨学科语料库和一个由 200 个问题组成的基准。 该基准包含 110 个已解决和 90 个未解决数学问题,每个问题都配有 Lean 4 形式化陈述。在 HQ-50 子集上,7 个 LLM 智能体在封闭书本条件下极少能重发现问题。 该资源为衡量研究级重发现能力提供了基础。

  25. arXiv · NLP36

    rTaste:研究智能体是否有品味?评估早期研究判断

    rTaste 评估六个前沿模型作为研究智能体判断早期实验价值的表现。415 个最小可行实验中,194 个被审计为可靠、有价值且新颖,但仅 73 个被认为超越种子论文且非显而易见。 智能体的首选比随机选择更符合审计者高价值判断,但未显著优于选择首个提出的实验。其预测虽超过基准率,但与仅基于论文的新实例预测精度无可测量差异。团队协作成本更高,但未带来明显的提案质量提升。