跳到正文
11月10日周二
  1. arXiv · NLP26

    固定权重 Agent 的自改进:失败轨迹的价值与局限

    固定权重的 90 亿参数模型通过读取大教师模型基于其失败轨迹生成的笔记,在生成客服决策任务中准确率提升 4.0 个百分点。 笔记生成流程本身贡献了约 60% 的改进;在完整客服对话及新的工具使用任务中,这些笔记未展现显著收益。 盲审发现 240 个工具使用测试样本中有 146 个存在缺陷,表明测试数据质量影响了结果的可信度。

  2. arXiv · NLP37

    良性训练隐藏状态探针在对抗条件下检测工具错误的能力评估

    基于良性轨迹训练的隐藏状态探针在对抗条件下未必能可靠检测工具操作错误。 实验使用 Qwen2.5-14B-Instruct 等模型,发现其系统覆盖条件下的标量不确定性指标 AUROC 和 AP 均高于隐藏状态探针。 研究建议在对抗环境下不能假设良性探针具备可靠的工具错误检测能力。

  3. arXiv · NLP38

    LLM 多智能体共谋监测探针的评估陷阱分析

    激活探针在监测 LLM 智能体共谋时主要检测指令而非决策,2,500 个委员会和 1,476 个代码审查回合的基准测试显示,现有检测器难以区分接受与拒绝共谋指令的智能体。 移除共谋指令后,最佳探针的 AUROC 从 1.00 降至 0.61;投票后评估和 57% 的公开论证缺失进一步夸大了监测结果。 该研究提出了控制协议和在线监测方法,用于评估任意共谋监测器。

  4. arXiv · NLP40

    AVCORP:基于博弈论与心智理论的欺骗检测基准及微调模型

    LLM Agent 易受欺骗,研究人员构建包含 5,000 条标注对话的语料库 AVCORP,并基于该语料对 Qwen3-8B 进行训练。 在 25 场留出游戏中,最佳检测器超越 GPT-5.6 Sol、Gemini 3.1 Pro 等前沿模型,表现匹配 Claude Opus 5.5;在 20 场人类游戏中,所有训练后的检测器 F1 分数均高于未训练基线。

  5. arXiv · NLP28

    DeepResearch RewardBench:首个深度研究奖励模型评测基准

    为评估 AI 生成深度研究报告的质量,研究人员提出首个专用基准 DeepResearch RewardBench。该基准通过多轮过滤和人工验证,构建了包含对、三元组及四元组的偏好数据集。 实验显示,当前奖励模型在研究报告评估上表现下降,生成式 LLM 作为裁判更具优势。该基准预计将成为评估和提升研究智能体的重要测试平台。

  6. arXiv · NLP42

    SEA 基准测试 11 款 AI 模型在社交工程攻击下的安全表现

    SEA 基准测试 11 款前沿大模型在社交工程攻击下的安全能力,结果显示所有模型均被攻破,中文场景攻击成功率达 16.9% 至 84.3%。 基准涵盖 8 个生活领域、30+ 模拟应用及 320 个评估任务,配合 META-SEA 框架可使 Qwen3-8B 防御性能比肩闭源模型。 该研究系统性评估了个人 AI 智能体在涉及真实资金与敏感数据场景下的固有风险。

  7. arXiv · NLP46

    WorkflowArena:LLM 多智能体系统可执行工作流编排基准

    研究者提出 WorkflowArena 基准,包含 8 个专业领域的 145 项长程任务,用于评估多智能体系统自主编排可执行工作流的能力。 实验测试 9 个模型发现:高负载下 Claude Code 较少调用工作流但工作组更大,Codex 则更频繁委派小单位;固定执行模型后,Claude Opus 5.5 编写的工作流显著提升弱模型表现。

  8. arXiv · NLP35

    NCode:首个基于LLM的通用AutoML搜索框架

    提出基于LLM的通用AutoML框架NCode,首次联合优化架构、超参数及数据比率,无需任务特定微调。 采用统一数值编码将设计选择转为离散序列,在图像分类、分割、说话人验证及文生图基准中达到SOTA,并在十亿参数Diffusion Transformer联合优化中取得GenEval 0.91分。

  9. arXiv · NLP55

    MIRIX-2.0: 面向LLM智能体的多智能体记忆系统

    MIRIX-2.0是一个多智能体记忆系统,在五个QA基准中取得四项最高准确率,LoCoMo得分91.4%,LongMemEval-S得分72.6%。该系统由六种类型化记忆代理维护完整记录,通过AutoDream在写入路径外合并重复锚点,并能在禁用AutoDream时比HyperMem在所有五个计时基准上回答更快,且无需微调即可兼容闭源和开源模型。

  10. arXiv · NLP36

    通用聊天机器人与心理健康领域的未解难题

    通用聊天机器人日益被用于情感支持,但存在谄媚、强化妄想及危机响应不力风险,目前研究面临评估难题。 核心挑战包括传统静态基准无法确立安全有效性,以及真实日志数据共享受隐私限制,难以连接现实证据。 研究界需通过协同行动,在构建证据政策中发挥积极作用,涵盖用户保护标准与数据治理。

  11. arXiv · NLP38

    Hibana:统一内存设备上的快速智能体推理引擎

    Hibana 是针对统一内存设备设计的推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体负载。 在单台 DGX Spark 上运行 125B 参数的 Qwen 和 Nemotron 模型时,Hibana 每小时可完成比 vLLM、NVIDIA Flare、TensorFold 等框架多 3.4 倍的智能体任务,解码吞吐量提升高达 3.9 倍。代码已开源。

  12. arXiv · NLP23

    MixUA 多粒度记忆提取系统提升多用户多智能体交互性能

    MixUA 是一种记忆系统,通过提取用户-智能体轨迹中的经验教训并分配至不同隐私范围,提升多用户多智能体协作效率。在 CrossLearnBench 基准测试中,MixUA 相比无记忆方案通过率提升最高 16 个百分点,比单一全局记忆高 5 个百分点。该系统保留最高 90% 的历史偏好,且仅 0.02% 的隐私探针在禁止范围内发现私有事实,提供可扩展的用户与智能体共同进化路径。

  13. Hacker News LLM61

    AI 编码智能体效能优化:从代码清理到本地仿真环境的实用技巧

    作者分享了构建高效 AI 编码智能体(Super LLM Soldiers)的实践方法,重点包括通过定制 Lint 规则和强化无障碍树(A11Y)来优化代码库环境,以及部署本地仿真工具和数据库 MCP 服务以提供上下文支持。摘要强调了利用 Datadog 或 Langfuse 等观测工具以及优化 CI 管道,可帮助智能体在更短时间内更自主地完成复杂任务,显著减少人工干预需求。

  14. Hacker News AI38

    Antelog 拦截 AI 编码智能体运行危险命令

    Antelog 是一款在 Claude Code、Cursor 等智能体执行前拦截危险命令的安全工具,单次检查耗时低于 50 毫秒。 它通过本地规则与云端 AI 检查机制,阻断如 DROP TABLE、rm -rf 等破坏性操作,确保误报时自动阻断。 基础拦截功能免费,Pro 版定价 25 美元/月,提供 10,000 次月 AI 检查及团队协作功能。

  15. 36氪44

    OpenAI 与 ModRetro 联名推出 Codex 游戏掌机

    OpenAI 联合 ModRetro 正式上架售价 200 美元的 Chromatic Codex Edition 掌机,支持通过 Codex 自然语言生成游戏并写入实体卡带。 套装内含可编程 Codex 卡带与收纳包,目前仅限美国、加拿大、澳大利亚、新西兰、日本、英国及欧盟地区配送。 此举标志着 AI 编程工具从软件场景延伸至实体消费硬件,降低了复古游戏开发门槛。

  16. IT之家33

    马斯克描绘 AI 时代愿景:超级智能助建城堡,经济体系将显落后

    马斯克预测数字超级智能将满足人类一切需求,包括建造城堡,并使人人都拥有极高收入及顶级医疗服务。 他认为技术进步将带来极度充裕的能源,使现有货币制度显得原始;数字超级智能有望让白领效率翻倍,推动全球经济增长 20% 至 30%。 人形机器人生产效率可达人类 5 倍,仅需 2000 万至 3000 万台机器人即可达到目前全美国在职劳动者的总产出水平。

  17. Hacker News LLM51

    Jane Street 开源 Socratic-tutor Agent 技能

    Jane Street 在 GitHub 开源了 Socratic-tutor Agent 技能,旨在将 LLM 转化为采用苏格拉底教学法的个人导师。该技能包含 SKILL.md 指令文件,支持通过诊断测试、0-5 级技能地图、单次提问和间隔复习实现结构化教学。开发者可直接将该技能目录复制到支持通用 SKILL.md 格式的代码代理中,或将内容粘贴至聊天机器人系统提示词使用。

  18. Hacker News AI53

    World of Warcraft 启动 AI 智能体 Willo

    面向《World of Warcraft》的新 AI 智能体 Willo 正式上线,支持语音问答和角色互动。Willo 可回答任务、剧情及设置问题,并能记忆用户目标;该功能在 Windows 10/11 及 Apple Silicon Mac 上免费使用,支持通过 Lore Forever 插件读取游戏状态。

  19. HackerNoon · AI30

    企业 AI 中人类判断力比数据更重要

    企业 AI 应用中,人类判断力比单纯的数据收集更能引导模型输出,避免答案趋向平庸的平均值。 BMW 项目耗时六个月构建数据字典,将分析速度提升 12 倍,证明嵌入专业领域判断能显著增强 AI 可靠性。