跳到正文
10月19日周一
  1. arXiv · NLP32

    EduWild:教师配置的聊天机器人在真实世界中的失败模式及修复方案

    研究引入包含 1,726 段对话的 EduWild 数据集,揭示教师配置聊天机器人最常遗漏工作流步骤(53.8%)和预期设定(33.4%)。 基于此设计的基于提示词的框架在 200 名大学生实验中,将平均目标失败代码数从 1.406 降至 0.489,相对减少 65.2%。 这些结果表明真实世界失败分析能有效指导教育聊天机器人的实用改进。

  2. arXiv · NLP70

    MuninAI:面向独立研究团队的自托管智能体框架

    arXiv论文介绍了开源框架Munin,其为自托管科研助手提供索引语料和引用图谱,并包裹开放权重模型提供专业阅读、搜索和计算工具。在199个配对文献问题上,该框架将基础模型准确率从0.387提升至0.874。

    推荐理由:论文提出了自托管智能体框架Munin,通过评估证明外层工具比模型本身更能提升科研文献问答准确率。

  3. arXiv · NLP30

    不确定性能否衡量 RAG 幻觉风险?

    研究显示,仅当检索证据能约束答案时,不确定性指标才能有效衡量 RAG 幻觉风险。证据缺失时模型依赖内部知识,导致不确定性度量失效。 在四个指令微调模型上测试发现,困惑度在检测不支持的编辑时 AUROC 达 0.81-0.91,而长度分类器接近随机水平。 结果支持将不确定性视为 RAG 幻觉风险的有条件度量工具,该研究已被 ICNLSP 2026 接收为口头报告。

  4. arXiv · NLP22

    视角主义 NLP 模型预测哪些标注者?分析标注者一致性、稀疏度与性能关系

    该研究构建了迄今最大规模的带有序标注的视角主义 NLP 数据集,用于评估不同算法在预测多样化人类评分时的表现。 研究发现,算法在处理倾向于与他人保持一致的标注者时表现更好,但标注者的响应率与算法性能之间不存在具有统计学意义的正相关。

  5. arXiv · NLP24

    AuditKIT: 用于评估、评判和比较大型语言模型及智能体系统的统一评测框架

    AuditKIT 是一个源代码可获取的评测库,将基准准确率、裁判评估、运行时性能等记录在统一结果表示中。它通过方向感知指标契约和配置指纹,解决接口差异和指标语义问题,支持智能体的工具调用匹配和检索增强生成的证据检查。该框架在七个案例研究中展示了不同指标选择如何改变评估结果。

10月17日周六
  1. AWS Machine Learning Blog55

    Amazon Bedrock AgentCore 基于九阶段评估框架保障 AI Agent 生产可靠性

    AWS 基于 Amazon Bedrock AgentCore 构建了九阶段评估框架,将质量评估贯穿智能体从开发到生产的全生命周期。该框架定义了涵盖准确性、安全性、延迟和成本的五维指标体系,并通过持续评估循环,将质量问题的平均发现时间从数周缩短至 4 小时以内,确保了多智能体系统的生产可靠性。

10月16日周五
  1. Qoder50

    QoderWake 发布个人分身功能,支持基于记忆的代答与检索

    QoderWake 推出个人分身功能,通过从用户主动选择的钉钉聊天、会议纪要和本地资料中学习,建立个人记忆并理解用户的表达习惯。该分身能在授权范围内帮助回复重复问题、检索过去讨论背景,并根据用户风格生成消息草稿。用户可随时查看、修改或删除记忆,并设定代答范围与隐私边界,确保分身在明确授权下运作。

  2. arXiv · NLP23

    AURA 框架:基于效用引导的自适应推理以提升文本检索效率

    AURA 提出直接监督中间推理状态并训练轻量级效用估算器,根据相关文档与困难干扰项的区分度动态调整推理深度。在 BRIGHT 基准测试中,AURA-4B 以 2.8 个推理步骤和 96 个生成 token 实现 34.7 的平均 nDCG@10,自适应停止将延迟从 4.6 秒降至 0.76 秒。该专化模型在 MS MARCO 上未显著降低常规领域内检索表现。

  3. arXiv · NLP48

    Hy-Memory-30B-A3B:用于长期记忆写入的归因强化学习

    研究人员提出紧凑型长期记忆写入模型 Hy-Memory-30B-A3B,在四个评测框架中均排名第一。该模型在 20% 基准子样本上的宏平均分为 55.49%,优于 Claude Opus 5 的 54.62%。 模型通过 Mem0、MemOS 和 Hy-Memory 进行跨框架训练,采用 Memory RL 优化下游可回答性,并引入了 chunk 级 GRPO 等机制。

  4. arXiv · NLP48

    TEM:面向大语言模型智能体的时间状态跟踪记忆

    TEM 框架通过版本化记录与源序排列,实现免训练的时间状态跟踪。在 420 个测试问题上,关键实体命中率最高达 100.00%。 历史标签使整体命中率提升 17.14-55.95 个百分点,证据长度较 RAG 减少 48.75-56.73%。 在 1,540 个 LoCoMo 测试中,TEM 超越 RAG 基线 7.92 和 10.58 个百分点。

  5. arXiv · NLP29

    医疗器械文档评估中实现 LLM 全链路确定性的可行性研究

    针对 14 个商用 LLM 部署在重复请求下均产生结果差异的问题,研究构建了涵盖 OCR、检索与推理的确定性流水线。该流水线在血糖仪和输液泵文档测试中,于同型号 GPU 及不同天数的重跑中实现了字节级一致的输出。OCR、嵌入及近似检索阶段若服务配置不固定会导致结果波动,推理引擎调度设置影响输出,因此需将这些参数纳入配置记录。

  6. arXiv · NLP44

    ExecutionRAG 揭示多跳 RAG 中 LLM 检索失败源于搜索漂移而非不可达证据

    研究指出多跳 RAG 错误常因搜索漂移导致,新提出的无训练方法 ExecutionRAG 记录了未答子问题。 在 1,000 个 MuSiQue 问题上,使用 all-MiniLM-L6-v2 时未检索证据的错误答案从 382 降至 234,使用 Qwen3-Embedding-0.6B 时从 383 降至 274。 瓶颈从获取证据转向验证检索证据的充分性,早期解决和弃答增加抵消了部分改进效果。

  7. arXiv · AI35

    MemSyco-Bench:评估 LLM 智能体记忆系统中谄媚倾向的基准

    针对检索记忆引发 LLM 智能体谄媚倾向的问题,研究团队提出 MemSyco-Bench 基准以评估记忆对推理决策的影响。 该基准覆盖五项任务,评估智能体拒绝记忆作为事实证据、尊重适用范围、解决记忆与客观证据冲突、跟踪记忆更新及利用有效记忆实现个性化的能力。 相关资源已向社区开放。

  8. arXiv · AI25

    RAG4Tickets:基于JIRA和GitHub数据的检索增强生成自动解决工单框架

    提出RAG4Tickets框架,整合Sentence-Transformers语义嵌入与FAISS向量搜索,利用JIRA和GitHub数据生成可解释的工单解决建议。 框架嵌入历史JIRA工单、用户评论及关联PR元数据,通过LLM合成检索到的相似案例,并统一了异构软件工件的处理流程。 实验通过精确率、召回率及解决时间减少等指标验证,该系统在DevOps环境中显著提升了解决准确率与知识复用水平。

  9. arXiv · ML33

    符号化机制数据归因:追踪训练影响力至学习到的行为策略

    研究提出符号化机制数据归因(SMDA)框架,通过稀疏自编码器特征和岭回归分析 Llama-3.2-3B-Instruct 的 200 个 SFT 数据对,归因训练数据对模型行为策略的影响。 移除关键数据对后,重新微调的准确率比完整微调最多提升 4.5 个百分点。 该方法结合机制可解释性与数据归因,提供比黑盒影响函数更精细、比手动电路分析更可扩展的诊断工具。

  10. arXiv · AI37

    MEMONDEMAND:面向大规模企业数据的内存管理系统

    MEMONDEMAND 提出了一套内存管理系统,在 EnterpriseRAG-Bench 上全尺度超越最强基线,10M token 时提升 12.23%,618M token 时提升 4.66%。 该系统包含动态多级层次结构、双重内存分离及按需升级机制,并已在 FinanceBench、HotpotQA 和 FRAMES 上验证。 代码已开源,适用于跨领域、大规模的企业数据场景。

  11. arXiv · AI40

    MegaMem 检索方案突破亿级 Token 上下文限制

    MegaMem 提出双视图检索系统,在 6.5 亿 Token 的企业文档基准上将 Overall 分数从 68.22 提升至 82.26,Correctness 达 86.50。 该系统通过语义访问与生成证据分离,利用固定预算内的最高排名详细证据支持生成,确保超大持久记忆下的答案准确性。 MegaMem 代码已开源,为处理数亿至 10 亿 Token 级记忆提供了可行的检索路径。

  12. arXiv · AI38

    MATM 框架实现多智能体轨迹记忆共享

    多智能体事务记忆(MATM)框架提出群体级智能体轨迹存储与检索机制,生产者上传轨迹,消费者复用经验。 在无协调或联合训练条件下,ALFWorld 和 WebArena 环境下下游任务性能提升且交互步骤减少。 该设计为开放智能体生态系统中的群体级经验共享提供了架构范式。

  13. arXiv · AI24

    GraphCompliance:基于策略-上下文图对齐的结构感知监管合规框架

    提出结构感知框架 GraphCompliance,将法规文档表示为策略图、上下文信息表示为上下文图,通过合规门机制对齐两者以评估监管合规性。 在 EU2UK、GDPR-13 和 CONTRACT 数据集上的评测中,该框架的 Matthews 相关系数分别达到 0.802、0.682 和 0.793,数值上高于对比方法。 结果支持了结构化的策略-上下文对齐在异构监管场景合规预测中的效用。

  14. arXiv · AI45

    评估 LLM 文本评分中评分量表敏感性

    改变评分量表单一设计元素平均导致标准化分数偏移 0.10,并改变约 20% 文本的分类结果。 实验涵盖 2 种格式、4 种范围、2 种符号、5 个 LLM,发现毒性任务敏感性最高且基于评分标准的提示未降低敏感性。 文章为设计更可靠的 LLM 文本评分提供实用指导,并强调需进行跨不同量表的稳健性检查。

  15. arXiv · AI32

    推荐系统中语言嵌入的隐私风险:余弦相似度攻击可恢复物品身份

    研究指出,当攻击者掌握外部辅助文本时,简单的余弦相似度攻击能在两个真实数据集上以高平均倒数排名恢复物品身份。 信息泄露在攻击者部分信息与受害者表征重叠时最强,即使来源独立的描述经过语义对齐,泄露依然存在。 物品泄露可传播至稀疏评分下的用户重识别,混淆描述作为缓解措施存在明显的泄露与效用权衡。

  16. arXiv · AI26

    基于随机投影的隐私保护检索增强生成方法

    提出基于随机投影的检索增强生成(RAG)隐私保护方法。 对数据嵌入和查询嵌入应用相同投影,在保持语义相似性的同时缓解数据提取攻击。在多个RAG架构和 datasets 上,该方法性能优于依赖形式化差分隐私(DP)保证的先前方法。首次表明随机投影可作为隐私保护RAG系统具有竞争力的实用基线。