跳到正文
11月19日周四
  1. arXiv · NLP26

    Openhagen Worlds:校准环境用于测量和训练科学发现智能体

    Openhagen Worlds 推出 27 个校准环境,包含 178 个难度层级,用于测试智能体在预算限制下运行实验并推理结果的能力。 每个层级经过 64 个开发实例的脚本预言机验证,确保非演绎策略成功率不超过 0.25。DeepSeek V4.1 Flash 在前沿测试中解决 32 个实例,9B 模型经策略迭代后核心层级成功率从 0.090 升至 0.148。

  2. Hugging Face Blog77

    DaisyRose-27B:提升后训练效率的前沿模型

    RadixArk 发布其首个模型 DaisyRose-27B,基于 Qwen3.8-27B 架构,使用 Miles 框架进行强化学习训练,并在 144 块 H200 GPU 上通过 1,200 个精心设计的任务完成了为期 18 天的训练。

    推荐理由:RadixArk 基于 Qwen3.8-27B 发布了首个模型 DaisyRose-27B,展示了其在长程智能体任务上的强化学习训练效果。

11月18日周三
  1. arXiv · NLP42

    当检测不保证抵抗:RAG 中的推理与中毒上下文

    DeepSeek-V4-Flash 在启用推理后,中毒防护中的 Cordon Rate 从 0.205 降至 0.075,Leakage Rate 从 0.235 降至 0.140。尽管攻击成功率从 0.233 升至 0.298,且中毒检测率从 0.965 降至 0.665,Qwen3.6-Plus 也呈现出相同的定性模式。结果表明,检测中毒上下文与实际抵御其影响是 RAG 安全中的两个独立维度。

  2. arXiv · AI32

    SCoRe 提升长程漏洞利用智能体表现:停止并非能力上限

    研究发现智能体在首次停止后仍有验证增益但收益递减,总结保留不可能性判断导致后续探索低效。 提出上下文管理方法 SCoRe,在停止爆发时压缩上下文并标记判断为未证实。MiMo 在 2000 轮达到 67.0% 覆盖率,显著高于原始策略的 32.4% 和 GPT-5.5 的 58.6%。 表明持续执行结合上下文管理可激发更多漏洞利用能力,停止不必然代表智能体能力极限。

  3. AWS Machine Learning Blog71

    Amazon SageMaker HyperPod Inference 新增 NVIDIA Dynamo 托管推理能力

    Amazon SageMaker HyperPod Inference 新增对 NVIDIA Dynamo 的支持,提供托管的多节点部署和分离式推理能力。在 Qwen3-235B-A22B-FP8 测试中,分离式架构吞吐量达到聚合架构的 2.05 倍。多节点聚合部署下,两节点配置保留单节点吞吐量的 99.1%。

    推荐理由:通过 Qwen3-235B 与 Qwen3.5 基准测试,展示了分离式 prefill/decode 架构能提升 2 倍吞吐量,为优化大规模 LLM 部署提供了工程参考。

11月17日周二
  1. arXiv · ML23

    大语言模型推理轨迹探测:七款开源模型在四个基准上的表现分析

    研究团队提出一种轨迹探测协议,通过截断并重新注入部分推理轨迹来评估模型预测答案的动态变化。 该协议应用于 Qwen3-4B/8B/14B、gpt-oss-20b/120b 等七款开源模型及 GPQA Diamond、MMLU-Pro 等四个基准。结果显示准确率随推理 token 比例增加而提升,且强模型常复现弱模型的错误,但允许进一步推理可显著恢复正确率。

  2. arXiv · AI28

    AgentGA: 在智能体种子空间中进化代码解决方案

    AgentGA框架通过优化智能体种子进化自主代码生成,在Weco-Kaggle Lite基准测试中表现优于AIDE和AutoGluon。使用DeepSeek V4 Flash (0731),AgentGA平均超越人类比例为71.13%,在14/16项任务上超越AIDE。该方法结合群体遗传算法与长程智能体,通过修改的Hedge控制器实现在线算子分配,验证了智能体种子优化的实用性。

  3. arXiv · AI23

    LLM 在代码去混淆标识符恢复中的评估:更多上下文并非总是有益

    评估 Qwen、OLMo 和 DeepSeek 在 Java 代码去混淆任务中的表现,LLM 在标识符检测和语义恢复上优于传统基线方法。 Agent 检索使检测 $F_1$ 达到 91.56%,但精确恢复率整体仅为 16.42%;更大的方法上下文反而阻碍语义恢复,控制流混淆的影响超过字符串加密。 研究为逆向工程师选择去混淆模型和上下文策略提供了实用洞察。

  4. arXiv · AI23

    层级上下文如何提升 LLM 代码摘要效果

    引入类或模块层级的 Documentation-Aware 提示,能使 LLM 生成的代码摘要最接近原始文档。 实验表明,添加周围文档在 DeepSeek、GPT-4o-mini 和 Gemini 上均带来统计显著的提升。 该发现为改进自动文档工具及增强 LLM 在代码检索等下游任务的推理能力提供了路径。

  5. arXiv · AI26

    AGPV 通过智能体引导过程验证提升数学推理自纠正准确率

    AGPV 在五个数学推理数据集上实现平均准确率 63.8%,较最强基线提升 13.5 个百分点。 该方法将解题分解为关键声明序列,结合共享数学工具箱与完整性验证,证明了在覆盖充分时的正确性保障。 评测涵盖 DeepSeek、Qwen 及 GPT 四个模型,显示 AGPV 的修复覆盖率高于程序化验证基线。

  6. arXiv · NLP29

    大语言模型的多语言幻觉差距研究

    研究发现 LLaMA、Qwen 和 Aya 模型在 19 种语言生成传记时存在幻觉率差异,高资源与低资源语言间差距显著。 研究通过扩展 FactScore 指标至多语言场景进行量化,并将生成结果与 Wikipedia 页面进行对比以评估准确性。 该成果已被 PMLR 会议接受,揭示了 LLM 多语言性能及幻觉评估面临的挑战。

  7. arXiv · NLP34

    医学 LLM 评估中的自我偏好:裁判并非 impartial

    研究显示 LLM 裁判在医学评估中存在自我偏好,8 个模型在 13,760 次判断中均倾向于给自身生成的答案更高排名或分数。在 Real-POCQi 测试中,合并后的 Answer Rank Bias 为 +1.22 位置,揭示生成者身份仅使该偏倚平均减少 0.094 位置。临床 AI 部署应使用多模型裁判小组以增强评估公正性。

11月16日周一
  1. arXiv · NLP36

    LLM 身份指纹的传染性:模型如何继承前序对话者的特征

    研究发现 LLM 身份指纹具有传染性,模型会继承前序对话者的特征,导致 API 中继审计失效。 DeepSeek 替换 Claude Sonnet 时,检测器识别率从 0.97 降至 0.72;Haiku 降级后从 0.87 降至 0.54。 提出的 Lineup 方法通过对比相同历史下的参考分布进行审计,假阳性率为 0.056,有效识别 0.81 的替换会话。

  2. arXiv · ML36

    Cyber-Zero:无需运行时的网络安全智能体训练框架

    Cyber-Zero 是首个免运行时框架,通过逆向工程 CTF 题解生成智能体轨迹,在三大基准上较基线提升最高 11.4%。 该框架利用公开 CTF 题解与角色驱动 LLM 模拟,无需实际环境即可生成长程交互序列。 其最佳模型 Cyber-Zero-32B 在开放权重模型中创 SOTA,性能媲美 DeepSeek-V3-0324 与 Claude-3.5-Sonnet。

  3. arXiv · AI30

    LLM 基准置信度信号的有效性筛查框架

    提出一种可移植的有效性筛查方法,用于评估 LLM 基准中置信度信号是否随正确率变化。 在 20 个前沿模型 452 题测试中,15 个模型信号有效,1 个无效,4 个不确定;1500 题 MMLU 测试显示判定依赖切分点。 该筛查分离了盲目自信、盲目撤回和反转,仅当信号可测量地追踪正确率时才标记为有效。

11月14日周六
11月13日周五
  1. arXiv · NLP38

    大语言模型在疼痛管理中的种族与性别偏见:对 GPT、Claude、Gemini、Llama、DeepSeek 和 Qwen 的反事实审计

    对 GPT、Claude、Gemini 等 17 个模型的 1,386 次对比未检测到疼痛管理中的显著种族或性别偏见。 研究采用 6 个急性疼痛案例和 50 个临床 Q-Pain 案例进行反事实审计,结果显示所有疼痛严重程度差异在 0-10 分制内小于 1 分,且模型间及设置间的差异远大于患者间的差异。