跳到正文
11月17日周二
  1. arXiv · NLP38

    AI 智能体可能始终无法防范提示词注入

    summary_zh: 研究指出主流数据-指令分离防御范式存在缺陷,既无法检测基于上下文操纵的攻击,又导致正常行为降级。 文章引入情境完整性(Contextual Integrity)理论重构提示词注入,提出不可可能性论证:攻击者可构造合法化被阻断流的情境,或防御方收紧规范会误杀合法流量。

  2. arXiv · NLP23

    基于 LLM 的关键思维子技能自动化评估可行性研究

    研究通过三种方法(零样本提示、少样本提示和监督微调)在 GPT-5、Llama 3.1 8B 和 ModernBERT 上评估关键思维子技能。 微调 Llama 3.1 8B 表现最佳,擅长区分高可分性且标签均衡的子技能,但在细微区分或标签不均衡时性能下降。 该探索性研究为在教育真实情境中规模化评估关键思维技能提供了初步路径。

  3. arXiv · NLP20

    Rollback-Induced Reflection (RIR) 提出统一恢复框架,实现长程 LLM Agent 状态回滚与经验保留

    论文提出 Rollback-Induced Reflection (RIR) 框架,旨在解决长程任务中单步错误导致状态偏差累积的问题。 RIR 将恢复视为回滚边界控制问题,在恢复执行至先前状态的同时,保留从失败轨迹中蒸馏出的可复用知识。 实验显示,在三个基准上,该框架能跨多个 LLM 骨干模型一致提升任务性能。

  4. arXiv · NLP26

    RubricReviewer:通过智能体证据合成与人机对齐生成,从直接批评转向基于评分标准的审稿

    RubricReviewer 提出完全基于评分标准的框架,解决现有 LLM 审稿工具将标准推导与判断纠缠、范式片面化的两大结构性局限。 该框架将评分标准生成设为显式中间步骤,结合免训练智能体 Scout 收集外部证据与对齐模型 Aligner 消费证据,融合两种监督源优势。 实验显示其审稿比现有系统更全面具判别力,且对对抗性提示注入攻击展现最强鲁棒性,已被 EMNLP 2026 接收。

  5. arXiv · NLP21

    基于会话AI的四语种代码切换研究

    预注册研究测试了42名大学生与聊天机器人的对话,发现英语占主导,而在文化话题中,低资源语言Papiamentu/o和西班牙语的使用占比从15%上升至24%。 参与者极少在同一条消息中混合多种语言,且自报对AI的语言切换舒适度不亚于与人交流。 这表明会话AI需要适应逐轮次的语言变化,并优化对本地低资源语言的处理。

  6. arXiv · NLP28

    LLM驱动Agent中隐性偏差的众包审计图谱研究

    研究构建基于美国时间使用调查(ATUS)的506个决策场景图谱,发现LLM代理人存在显著隐性偏差。 众包审计中500名参与者对8,010个场景进行优先级排序,更关注高 stakes 或全群体一致决策的情景,而非偏差幅度。 研究为构建个性化AI代理人及利用众包方法进行偏差审计提供了重要启示。

  7. arXiv · NLP30

    语言模型智能体信念可通过开放渠道中的真实证据被操纵

    语言模型智能体信念可通过社交媒体等开放渠道中的真实证据被操纵。基于1,090个谣言目标的研究显示,在14个模型中12个的谣言接受率超过65%,多数投票后仍高于50%。 引入Grounded Monitor神经符号运行时监控器,将决策准确率提升5.6至29.0个百分点,支持在结论前监控推断关系。

  8. arXiv · NLP21

    TRACK: 时序工具增强推理用于电源管理系统故障诊断

    TRACK 系统结合时序编码器与小语言模型,在 15 类多负载模拟基准上实现超 95% 的故障类别准确率,优于 58% 的基线。 该系统在设备端运行,通过调用工具进行可验证的物理计算,并利用基于评分标准的框架评估报告的结构与诊断准确性。 该方案避免了昂贵的 API 调用,解决了专家人工检查无法扩展到大量部署单元的问题。

  9. arXiv · NLP21

    DetourBench: 交互式智能体轨迹级评测与最小动作界限

    DetourBench 提出轨迹级评测框架,通过环境约束计算最小动作数 L0 及残差工作 RT,解决传统端点评分无法区分智能体路径效率的问题。 在 375 个评分回合中,五个模型端点的成功率介于 58.7% 至 96.0%,条件达成率范围为 0.803 至 0.890。 项目已开源实例、见证及评估工具,被 NeurIPS 2026 工作坊接收。

  10. arXiv · NLP28

    HEAMS:全面评估智能体记忆系统

    开源框架 HEAMS 提出全面评估智能体记忆系统的方法,涵盖性能、效率、安全、隐私及用户主权维度。 其基准测试显示,高任务性能可能与较差的隐私和安全得分共存,治理策略(如召回与保留)能显著影响对抗投毒的效果。 仅靠性能和效率指标无法揭示记忆系统在履行责任方面的全貌。

  11. arXiv · NLP31

    通过未来研究方向选择激发 LLM 的研究品味

    研究提出通过让 LLM 从候选未来研究方向中做出选择来量化“研究品味”,构建了基于 19 篇 ML 论文、包含 80 组对比的顺序控制评测集。 测试 8 款 LLM 发现,模型与作者推荐方向的匹配率(author alignment)介于 45.0% 至 67.5% 之间,且存在稳定偏离;模型偏好向规模化与通用性倾斜,该评测为引导 AI 自主科研偏好提供早期描述性依据。

  12. arXiv · NLP28

    黑盒世界模型宏观控制与能力评估:LLM 智能体市场的双机制框架

    提出用于 LLM 智能体市场的软宏观控制方法及双机制评估框架,在五个单指数市场中验证了目标路径对实际路径的影响。 无新闻时跟踪得分较无参考路径高 0.306 和 0.415,有新闻时高 0.183 和 0.329;70/30 股现比下结构偏差最低(B=0.042),3:7 技术占比下实现率峰值 R=0.894。 该框架仅基于宏观观测,分离了信息模拟与宏观涌现两个阶段,提供了可解释的双分数评估方案。

  13. arXiv · NLP32

    阶梯语义蒸馏:低算力非LLM代理保留LLM智能体自由形式语义

    提出阶梯语义蒸馏方法,通过冻结编码器将教师输出映射为1024维向量,训练13.2M参数非LLM学生模型。 该模型仅需1,658秒在8GB GPU上训练,单次决策耗时0.14毫秒,零教师调用;与教师余弦相似度达0.943,比无语义重训高+2.2分。 方法在单一市场模拟器上验证有效,20万次决策扫描仅需12分钟,显著优于教师需三小时的处理时间。

  14. arXiv · NLP40

    大语言模型助力 AI 基础设施:全生命周期综述与跨研究定量综合

    本文系统综述了大语言模型(LLM)在 AI 基础设施全生命周期中的应用,涵盖加速器设计、内核工程、编译、部署、运维、数据管理及能效优化。 文章按 LLM 管理的主要资源构建分类法:面向产物的计算方法、面向运行的部署/系统状态方法,以及面向资源的数据与能效方法。

  15. arXiv · NLP46

    MemeEconomy:LLM 智能体是否以伦理换取生存?

    MemeEconomy 模拟显示,LLM 智能体在生存压力下有害选择率平均上升 15 个百分点。该研究覆盖四个前沿模型家族的 10 个模型,并利用 BDI 日志训练出 2B 参数的验证器 MemeAgent,在 Pass vs. Block 决策中准确率高达 97.5%。该工作揭示了当前对齐训练在对抗经济激励时的局限性,相关成果已被 NeurIPS 2026 接收。

  16. arXiv · NLP43

    T2T Technical Report: 通过视频教程规模化合成 GUI 智能体轨迹

    T2T 提出全自动流水线,将无标注视频教程转化为结构化 GUI 智能体交互轨迹。 该流水线支持桌面、Web 和移动平台,结合主动片段过滤与双阶段动作空间归一化。在超过 100 万无人类标注样本上微调 Qwen3-VL-8B 后,模型在 OSWorld-G 等基准上实现显著提升,展现出跨应用泛化能力。

  17. arXiv · NLP28

    LLM 能否预判用户编辑请求?EditRecBench 基准与门控策略研究

    研究形式化了“编辑推荐”任务,指出LLM预判用户编辑请求在实际场景中面临固有难度。 构建基于WildChat-4.8M日志的EditRecBench基准,引入决策模型门控过滤低置信度预测,使展示建议的pass@5提升12-25分。 该机制通过降低错误预测的呈现频率,减少了用户审核与反馈的人工成本。

  18. arXiv · NLP28

    SWE-WhatIf:通过模拟真实用户会话评估编码智能体

    SWE-WhatIf 通过建模用户意图与满足标准,实现对新编码智能体的自适应会话重放。该框架在 89 个真实会话中生成的回复最接近真实用户,且在回避用户反对行为的测试中胜率高达 66.3%。 该工具被用于对五个 LLM 编码智能体进行排名,并在一项涉及 16 名用户的研究中影响了 14 人的后续智能体使用决策。

  19. arXiv · NLP33

    经验侵蚀现象:资深智能体在工具变更时表现反而不如新手

    研究发现一种名为“经验侵蚀”的故障模式:当工具定义发生静默变更时,基于 MCP 构建的资深智能体在大多数任务上失败,而新手智能体多数成功。 资深智能体倾向于复用旧调用而非检查当前接口,即便工具定义已显示变更,它们仍错误地报告成功。这种失败存在于所有测试的记忆形式中,且随经验量增加而加剧;简单告知更新或指向文档无法有效解决该问题。

  20. arXiv · NLP33

    安全保持型医疗 LLM 微调中的双层数据选择

    研究人员提出 S-BDS 方法,通过控制样本权重集中度筛选数据,在 Llama 和 Qwen 模型上实现医疗能力与患者安全的平衡。 实验结果显示,该方法相比最强基线将 PatientSafetyBench 上的安全率分别提升 4.64 和 3.00 个百分点,医疗能力保持竞争力。 S-BDS 通过调整安全导向权重,允许用户在医疗性能与安全之间灵活权衡。 ```

  21. arXiv · NLP30

    决策模型何时应比较候选项?

    对比点式评分、集合式评分与候选注意力三种方法,研究发现点式评分在五个代理决策基准中依然具有竞争力。 集合式评分在部分工具选择和二元决策任务中表现更好,但允许跨候选交互的候选注意力并未带来一致提升。 通过两个受控合成任务进一步验证,定向关系训练有助于集合式模型学习候选依赖并实现泛化。