PAYWORTHY 评估 LLM 能否预测 AI Agent 完成自由职业任务的概率
前沿 LLM 通过 PAYWORTHY 数据集预测 AI Agent 接受任务的概率,结果取决于 Agent 能力描述的详尽程度。 数据集包含 1,494 个真实自由职业帖子,当模型获知 Agent 无法做的事情时预测 AUC 为 0.66–0.86,仅获知通用能力时接近随机排序。
前沿 LLM 通过 PAYWORTHY 数据集预测 AI Agent 接受任务的概率,结果取决于 Agent 能力描述的详尽程度。 数据集包含 1,494 个真实自由职业帖子,当模型获知 Agent 无法做的事情时预测 AUC 为 0.66–0.86,仅获知通用能力时接近随机排序。
研究证实,单一虚假预筛选笔记可推翻最多40%的工具型Agent-as-a-judge正确判决。 该现象在四个评估者与五个数据集上验证。两个Claude评估者主要失效模式为过度信任(占67-75%)。
研究评估了7款模型在执行数据科学全流程及经3轮反馈后的表现,平均分从59%提升至76%。 测试涵盖49个模型配对共147份初始提交,其中107份成功运行。自身评分通常比他人评分高9个百分点。
SlackBench 发布了针对真实协作工作流的 AI 智能体评估基准,包含 140 个需联合推理通信与代码状态的查询任务。该基准基于隐私保护的学术项目重演,涵盖多源检索、不可回答问题的拒绝回答及长对话情境推理。测试显示 33 个前沿模型中最佳系统得分约 80%,大多数智能体低于 66%。
提出挑战感知自适应招募机制,通过外部Challenger识别推理轨迹中的知识缺口,触发检索或招募专家。在MEDAGENTSBENCH硬子集上,该机制提升8/9数据集准确率,相比纯Challenger基线提高6个百分点。 消融实验显示,针对缺口的查询信号和检索时机共同带来收益;在GPT-4.1-mini MedQA任务中,Challenger触发的专家招募将准确率从46%提升至54%。
针对智能体操作盲区,Agent Harness Awareness 通过提供验证的状态快照提升了操作控制能力。 在 GPT-5.6 Sol、Claude Sonnet 5 和 Gemini 3.7 Flash 的 216 次决策测试中,该设计使平均策略后悔值降低 96.9%,单次分派完成率从 69.4% 升至 95.8%。
SpecCompact 框架通过槽位并行语义推测验证,将 LLM Agent 上下文压缩速度提升 2.04 至 5.63 倍。该框架微调小型草稿模型并行生成摘要槽位,由目标模型验证并修复被拒内容。在 Hermes 系统的用户研究中,其中位压缩速度进一步达到 8.68 倍。
LLM智能体在自写交接摘要中常包含记录不支持的权限或要求,两个开源权重模型生成摘要中1.2%-2.4%含不支持的限制,0.1%-1.3%含不支持的授权。将系统提示中模糊要求改为明确来源说明,可将开发集不支持限制率从5.0%降至1.8%,留出集从1.8%降至0.3%。 实验表明,中和虚假批准可将未授权操作从120次运行中的24次降至7次,多数开发限制源于智能体先前推理中“操作需批准”的认知。
EvoGuard 是一种成对技能选择器,通过拒绝采样保留具有明显效用差距的技能对,并在部署时通过单次前向传播决策。 模型在 ALFWorld 上成功率提升 11.0%,在 ScienceWorld 提升 5.9%,在 LiveCodeBench 提升 2.7%。
在模型固定的前提下,不同的 Agent 脚手架(如 ReAct 循环、同模型审查员等)显著改变了 4 个开源权重模型在 156 个预设案例中对银行行为准则的合规率。
ProcessPrefBench 基于 66 个源-目标案例,测试自然交互中流程偏好的跨任务迁移。 采用全历史或蒸馏提示词,偏好实现分数较目标专用提示词分别提升 0.204 和 0.244 点;但捏造证据失败率从 5.8% 升至 10.1% 至 10.4%。 该基准揭示了利用历史交互提升偏好对齐与增加事实幻觉风险之间的张力。
论文提出 Pro-Memory 框架,通过分离意图维持与时机决策,显著提升了 LLM 智能体在前瞻任务中的表现。 该框架保留带有证据的未来意图,评估新观察结果并协调代理行动,利用两个基准测试验证了其在多个 LLM 骨干模型上的一致性改进,同时限制了不必要的干预。
研究开发受控搜索框架,在10个模型和1000个合成搜索环境中分析初始证据顺序对LLM智能体最终答案的影响,发现主动搜索阶段最终答案对初始证据顺序更敏感。 死端历史相对中性历史会减少策略切换,表明该效应超越上下文长度限制;错误假设下的阶段测量区分了检索减少与反证打开后持续的错误。
该研究提出 BACE 方法,在 SIMMC 2.1 数据集上优化模糊指代消解,解决 LLM 偏好过早作答的偏差。 基于冻结 LM 骨干的 BACE 通过信念感知批评家选择最优澄清问题数量,性能优于 GRPO 和 ArCHer。 代码和数据已公开,方法旨在平衡提问与回答,提升多轮交互中的指代解析准确性。
针对当前 CBT 对话系统缺乏编码认知状态能力导致临时假设固化的问题,CCDWiki 提出了一种即插即用的顾问框架。 该框架将长期治疗视为基于证据的假设裁决,通过可变的临床假设条目及其支持/反驳证据,在跨会话中动态强化支持项、保留临时项并撤回被反驳的假设。 该方法在无需重训骨干模型的情况下,显著提升治疗模型的概念化与干预质量,避免了下游干预偏差。
DevRev 利用 GPT-6.1 Sol 驱动 Computer 和 Operator,实现企业服务的自主自助。 该模型在推理能力、速度和成本之间取得平衡,支撑 DevRev 的企业级服务流程。
Amazon Bedrock AgentCore Evaluations 支持将 Jev 和 Strands Decider 2B 等决策模型接入代码型评估器,对智能体输出进行结构化打分。
AWS 官方教程介绍了名为 Deep Insight 的开源多智能体数据分析项目,它基于 Strands Agents SDK 和 Amazon Bedrock AgentCore,展示了四层上下文工程方法。
推荐理由:原文给出了四层上下文工程架构与代码实现,并展示单一工具与按需加载可显著降低token占用。
AWS Quick 推出 Smart Approvals,通过评估动作是否符合用户请求实现自动批准或转人工,不新增权限。 使用独立分类器模型结合知识图谱审查动作,单次自动批准仅限精确参数,超出范围则退回人工确认。 审计记录集成 AWS CloudTrail 与 Amazon CloudWatch Logs,支持全链路事件追溯与安全合规。
U Mobile 基于 Amazon Bedrock AgentCore 构建 Agentic AI 客服系统 AiDaH,在六个业务部门覆盖 150 多个运营场景,关键类别工单量下降 84.5%。 系统采用六层架构部署于新加坡区域,通过 Microsoft Teams 交互,利用智能体自动排查跨系统故障,保留人工最终决策环节。
Indegene 在 AWS 上的 NEXT UDP 平台构建 LLM 驱动的数据质量智能体,生成上下文感知的数据质量规则并产出可运行的 SQL 和 Python 代码。 该智能体支持集中式人工介入治理,解决了传统技术规则与业务规则脱节、静态校验无法捕捉业务背景的问题。 此举帮助生命科学企业提升数据质量扩展性,降低数据工程维护工作量。
阶跃星辰旗舰模型 Step 5 Preview 正式登陆 Qoder CN,支持 100 万 Token 上下文及文本视觉原生输入。 该模型面向 Agentic 任务,官方测试显示可连续迭代近 22 小时优化 GPU kernel,并支持一次调度 950 次网页抓取整理 30 万条数据。 这是 Qoder CN 首次接入阶跃星辰模型,双方将在后续持续推出更多合作功能。
Qoder 预告 11 月 5 日直播,探讨企业级 Agent 敏感数据保护方案。 通过 AgentLoop 追溯风险会话,结合本地检查与凭据拦截,防止访问密钥传递。 分享嘉宾为阿里云高级技术专家徐可甲,演示从风险追查到保护验证的全过程。
腾讯混元 Hy4 正式发布,首次引入视觉与电脑操作能力,金融综合表现及内部科研评测位居开源第一。官方计划开源模型权重,已在腾讯云等渠道上线,API 价格与预览版保持一致。
推荐理由:原版在金融众测与科研任务上取得开源第一,并展示了从代码到生物建模的跨领域生产力落地。
阿里云百炼 Token Plan 在双11期间为新客提供5折优惠,Lite 套餐首月19.5元,Essential 套餐首月39.5元。 Lite 套餐月额度为11,500 Credits,Essential 为25,500 Credits,额度支持小工具开发、图文创作及短视频生成。活动限未购买过该套餐的用户,优惠仅限首单。
开发者杨津在 CC Switch 发布 14 个月后分享开发心得,该开源项目现支持 12 个 AI 编程工具,获 149K GitHub Star,内置 90 多家供应商预设。
为解决智能体训练中的 Agent-Learning Environment Misalignment(ALEM)问题,研究者提出 SEAL 框架,通过协同共进化同步调整智能体策略与学习环境支持。
PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。
MDSKILL 提出一种多视角技能记忆蒸馏方法,将记忆组织为状态定位、行动规划、执行控制三个互补视图,并在 ALFWorld 和 WebShop 基准上较 SOTA 性能提升最高 7.1% 和 8.1%。 该方法无需额外计算开销,通过动态指标筛选高质量技能,构建视图特定及集成推理分支,经 On-Policy Self-Distillation 将互补经验知识整合至共享策略。 代码已开源。
GM Bench基准通过模拟四个体育项目的跨赛季管理,评估LLM在资源约束下的长时程决策能力。 Claude Opus 5.5在29个LLM中排名首位;GPT-6 Astra与GPT-6.1 Sol兼顾竞技表现与高额现金储备。
提出 ToolSpace 框架,从真实 MCP 服务执行轨迹挖掘工具依赖并合成环境,在自动化及银行基准测试上使 7 个前沿模型性能最高下降 38.2 点。 框架通过状态感知随机游走生成任务,将 Qwen3.6-35B-A3B 平均分从 23.0 提升至 41.0,GLM-5.2 提升至 56.6,表现与 Claude Opus 5 相当。 执行验证边优于 LLM 判断边,性能随数据和环境规模提升。
提出路由级安全干预框架 TraceRouter++,采用“发现-追踪-重对齐”范式。 该框架利用稀疏自编码器解耦激活,通过约束最优传输重对齐不安全激活边际,在大型语言模型、多模态模型及扩散模型实验中优于基线。 有效提升了对抗鲁棒性,并维持了安全与实用性的平衡。
MIMIC-Note-Extract将300,720份MIMIC-IV-Note出院小结的16个部分转化为结构化表格,填补MIMIC在病史、过敏等结构化数据上的空白。 采用确定性解析与LLM生成混合管道构建,病史条目增加10倍,覆盖2倍以上的住院记录;医生验证各部分抽取准确率超92%。 该数据集支撑LLM智能体临床决策基准,降低重复数据整理成本。
EvoGroup 是一个自进化框架,通过 6 个工具的冷启动适配群组共享上下文,解决了现有记忆系统无法捕获群组级知识的问题。 在 EverMemBench 留出集上,其 pass@1 准确率从 71.07% 提升至 89.58%,超过了 Claude Code 的 85.83%。结合 GPT-5.5 在 GroupMemBench 上也展示了良好的泛化能力。
论文提出一种配备社会查询工具的 Agentic 框架,通过推断言外之力识别阴谋论,在希伯来语推文数据集上优于纯文本分类。 数据集覆盖 2018 末至 2023 初,包含 80%-90% 公共希伯来语推文,涵盖选举与疫情时期。 上下文感知工作流性能显著优于非 Agentic 模型,验证了社会嵌入解释任务中自适应推理的有效性。
研究提出用“指纹”和程序化表示比较 10 个智能体,在 SWE-Bench 上将未见轨迹归属正确智能体的准确率达 85.7%。 该框架采用自发现词汇归纳技术压缩表面差异,显示行为最相似者为同发布期或蒸馏关系模型。
论文提出 STING 框架,用于通过多轮交互和自适应追问测试 LLM 智能体的非法任务完成率。 STING 在 AgentHarm 场景下展现出比单轮提示更高的非法任务完成度,并将攻击成功建模为首次越狱时间随机变量,引入 Restricted Mean Jailbreak Discovery 指标。
NeMo-RL 支持在线草稿协同训练,在 122B 模型规模下将 rollout 生成加速 1.48–2.25 倍,端到端训练加速 1.19–1.88 倍。通过扩展 zigzag ring attention 并引入 TapChannel,该方案在 256K 序列长度下实现了显著内存节省。
论文提出 LaMA-DT 框架,利用单个 LLM 进行轨迹增强和多任务策略学习。 该方法通过自然语言任务描述指导轨迹生成,并使用评分过滤机制保留高质量数据。 实验显示,LaMA-DT 在 Meta-World 和 MuJoCo 基准测试中优于现有基线,特别是在低数据场景下。
MolCrew 是本地部署系统,协调 4 个分子专家模型、语言模型编排器与 RDKit 计算。 在 ChEBI-20 上,MolCrew 的精确结构恢复率为 96.4%,Atomas-large 为 38.7%。