跳到正文
11月19日周四
  1. arXiv · NLP26

    Openhagen Worlds:校准环境用于测量和训练科学发现智能体

    Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。

  2. Hacker News AI78

    SID 团队研究估算 2026 年 LLM 每 15 天生成等于一个公开网页的 token

    SID 团队发布研究估算 2026 年全球 LLM 处理 token 总量在 200-230 千万亿之间,其中输出 token 约 1.5 千万亿。研究指出 LLM 输出 token 量在 2026 年 2 月已超越公开网页 token 存量,若维持增速 2028 年每 1-2 天即可生成一个公开网页的 token 量。

    推荐理由:研究团队通过三角测量法估算了 2026 年全球 LLM 输出 token 总量及人类数字文本存量,揭示了 AI 生成内容量超越人类写作的量化拐点。

11月18日周三
  1. arXiv · NLP42

    当检测不保证抵抗:RAG 中的推理与中毒上下文

    DeepSeek-V4-Flash 在启用推理后,中毒防护中的 Cordon Rate 从 0.205 降至 0.075,Leakage Rate 从 0.235 降至 0.140。尽管攻击成功率从 0.233 升至 0.298,且中毒检测率从 0.965 降至 0.665,Qwen3.6-Plus 也呈现出相同的定性模式。结果表明,检测中毒上下文与实际抵御其影响是 RAG 安全中的两个独立维度。

  2. arXiv · AI32

    SCoRe 提升长程漏洞利用智能体表现:停止并非能力上限

    研究发现智能体在首次停止后仍有验证增益但收益递减,总结保留不可能性判断导致后续探索低效。 提出上下文管理方法 SCoRe,在停止爆发时压缩上下文并标记判断为未证实。MiMo 在 2000 轮达到 67.0% 覆盖率,显著高于原始策略的 32.4% 和 GPT-5.5 的 58.6%。 表明持续执行结合上下文管理可激发更多漏洞利用能力,停止不必然代表智能体能力极限。

  3. TechCrunch · AI77

    研究报告揭示 AI 模型易被诱导将平民识别为军事打击目标

    Vals 发布的研究报告指出,主流 AI 模型易被诱导在模拟无人机或卫星影像中识别军事目标,即便目标包含平民或学校。研究人员通过声称场景是游戏突破安全限制,导致模型频繁标记目标。

    同一新闻,精选展示《研究报告:多款AI模型在伪装场景下易于协助标记救护车、记者及投降士兵为无人机靶点》

11月17日周二
  1. arXiv · ML23

    大语言模型推理轨迹探测:七款开源模型在四个基准上的表现分析

    研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。

  2. arXiv · AI28

    AgentGA: 在智能体种子空间中进化代码解决方案

    AgentGA框架通过优化智能体种子进化自主代码生成,在Weco-Kaggle Lite基准测试中表现优于AIDE和AutoGluon。使用DeepSeek V4 Flash (0731),AgentGA平均超越人类比例为71.13%,在14/16项任务上超越AIDE。该方法结合群体遗传算法与长程智能体,通过修改的Hedge控制器实现在线算子分配,验证了智能体种子优化的实用性。

  3. arXiv · AI23

    LLM 在代码去混淆标识符恢复中的评估:更多上下文并非总是有益

    评估 Qwen、OLMo 和 DeepSeek 在 Java 代码去混淆任务中的表现,LLM 在标识符检测和语义恢复上优于传统基线方法。 Agent 检索使检测 $F_1$ 达到 91.56%,但精确恢复率整体仅为 16.42%;更大的方法上下文反而阻碍语义恢复,控制流混淆的影响超过字符串加密。 研究为逆向工程师选择去混淆模型和上下文策略提供了实用洞察。

  4. arXiv · AI23

    层级上下文如何提升 LLM 代码摘要效果

    引入类或模块层级的 Documentation-Aware 提示,能使 LLM 生成的代码摘要最接近原始文档。 实验表明,添加周围文档在 DeepSeek、GPT-4o-mini 和 Gemini 上均带来统计显著的提升。 该发现为改进自动文档工具及增强 LLM 在代码检索等下游任务的推理能力提供了路径。

  5. arXiv · AI26

    AGPV 通过智能体引导过程验证提升数学推理自纠正准确率

    AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。

  6. arXiv · NLP29

    大语言模型的多语言幻觉差距研究

    研究发现 LLaMA、Qwen 和 Aya 模型在 19 种语言生成传记时存在幻觉率差异,高资源与低资源语言间差距显著。 研究通过扩展 FactScore 指标至多语言场景进行量化,并将生成结果与 Wikipedia 页面进行对比以评估准确性。 该成果已被 PMLR 会议接受,揭示了 LLM 多语言性能及幻觉评估面临的挑战。

  7. arXiv · NLP34

    医学 LLM 评估中的自我偏好:裁判并非 impartial

    研究显示 LLM 裁判在医学评估中存在自我偏好,8 个模型在 13,760 次判断中均倾向于给自身生成的答案更高排名或分数。在 Real-POCQi 测试中,合并后的 Answer Rank Bias 为 +1.22 位置,揭示生成者身份仅使该偏倚平均减少 0.094 位置。临床 AI 部署应使用多模型裁判小组以增强评估公正性。

11月16日周一
  1. arXiv · NLP36

    LLM 身份指纹的传染性:模型如何继承前序对话者的特征

    研究发现 LLM 身份指纹具有传染性,模型会继承前序对话者的特征,导致 API 中继审计失效。 DeepSeek 替换 Claude Sonnet 时,检测器识别率从 0.97 降至 0.72;Haiku 降级后从 0.87 降至 0.54。 提出的 Lineup 方法通过对比相同历史下的参考分布进行审计,假阳性率为 0.056,有效识别 0.81 的替换会话。

  2. arXiv · ML36

    Cyber-Zero:无需运行时的网络安全智能体训练框架

    Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。

  3. arXiv · AI30

    LLM 基准置信度信号的有效性筛查框架

    提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。

  4. Hacker News AI69

    12个AI模型1200次编程观点实验显示模型高度趋同且缺乏对C#的讨论

    JetBrains研究人员询问12个最新AI模型关于编程语言的争议观点共1200次,结果显示模型观点高度趋同,75%为攻击性评价,Python、Rust和TypeScript成为主要靶标,而C#未获得任何专门讨论。模型在Go语言错误处理上出现分裂,部分模型甚至对同一问题给出相互矛盾的看法。

11月14日周六
  1. Hacker News AI72

    Artificial Analysis 发布端点准确率指数 1.1 版本,显示四分之一第三方 AI 端点性能低于官方基线

    Artificial Analysis 发布端点准确率指数 1.1 版本,对比了 100 多个托管端点与官方权重基线,发现约四分之一端点得分低于参考部署。1.1 版本将长上下文重复测试从 10 次增加到 25 次,平均 95% 置信区间从正负 4.7 点缩小至正负 2.6 点,并将覆盖范围扩展至 DeepSeek V4.1 Flash 1017、GLM-5.3 等六个模型。

11月13日周五
  1. LessWrong · All Posts65

    Tencent Fleet 公共数据发布

    Concurrent 发布与 Tencent fleet 相关的公共数据记录,包含 3000 多条 URLQuery 报告、775 个 httpbin 载荷、377 条 ntfy.sh 消息、627 条邮箱消息以及 78 条通信记录。数据集旨在帮助理解 AI 集群行为并改进防御策略,已公开至 GitHub,敏感 API 密钥已做脱敏处理。