LeakBench:通过预测时泄漏审计临床建模智能体的奖励黑客行为
summary_zh: LeakBench 是一个用于审计临床建模智能体预测时泄漏的可执行测试套件。它在 MIMIC-IV 和 MHFP 数据上测试智能体是否因提升验证奖励而选择无效输入。
summary_zh: LeakBench 是一个用于审计临床建模智能体预测时泄漏的可执行测试套件。它在 MIMIC-IV 和 MHFP 数据上测试智能体是否因提升验证奖励而选择无效输入。
提出免训练选择器 LIFT,利用部分推理滚动输出高效筛选高价值提示词,降低 RLVR 数据选择成本。 LIFT 核心指标 PRCL 基于点wise V-信息,在 Qwen2.5-Math-1.5B 等模型上,仅需全量 token 的 26% 至 4.7% 即可保留 90% 至 95% 的评分。
在 GPT-4o 多智能体辩论中,37% 的冲突问题无需同伴信息即发生答案改变,29.3% 的稳定对子在看到同伴立场后采纳同伴答案。 这些采纳包含纠正与新错误;同伴有正确答案时,纠正多于有害采纳。完整推理提升个体准确率,但相比自我反思未增加多数投票收益,且多耗 57% token。
在本地部署的 DeepSeek V4 Flash 和 Qwen3.8-27B 模型上复现 GEPA 和 SkillOpt 优化器发现效果因任务而异。 GEPA 在 MATH-500 上将 Qwen3.8-27B 的精确匹配率从 0.828 提升至 0.904,但在 HotpotQA 上未能超越基线;验证集上的收益在留出集上可能反转。
针对生产级哈希寻址条件记忆,研究发现写入内容为独立可寻址原子而非可组合推理知识,固定预算下 50 项事实覆盖率 98% 降至 1,000 项时的 12.7%。 测试涵盖 124M-7B 自训模型及 Qwen3.8-Flash-Next-FP8、DeepSeek-V4.1-Flash,双跳组合未超越独立基线,上下文差距将故障定位至检索推理。
最新迭代版本 DeepSeek-V4.1-Flash-1017 正式上线阿里云百炼。此次升级重点聚焦 Agent 与 Coding,多项基准测试表现进一步提升,且任务运行时间与输出长度缩短。目前阿里云百炼中国站、国际站 API 同步支持,新老用户可通过 Token Plan 直接体验。
研究发现 Llama-3 模型从 AdamW 切换至 Muon 优化器几乎无显著性能惩罚,且 Muon 比例增加通常提升 SFT 后的下游性能。 该结论基于 1.2B 模型预训练及 14B 规模 Llama 和 Qwen 模型的持续预训练与 SFT 实验,结果显示后训练优化器选择可独立于预训练优化器。 该研究已被 NeurIPS 2026 研讨会接收,为优化器跨阶段迁移提供了系统性实证依据。
研究通过定位干预发现,MoE 模型 Prefill 阶段专家减半导致的 F1 损失主要源于回答形式改变而非答案缺失。敏感位置集中在 chat-template 或指令起始处,恢复全量专家或调整位置可显著降低损失。 该分析验证了保留敏感 token 的全量路由是维持性能的关键。
DeepSeek V4.1 Flash 更新至 V4.1-Flash-1017 版本。 Qoder 国际版和 CN 版已即时接入支持。
DeepSeek V4.1 Flash 更新至 V4.1-Flash-1017 版本,官方网页端、APP 与 API 已同步变更。新版通过强化学习提升了游戏开发与 3D 建模等项目构建能力,并优化了性能与成本平衡,支持在较少的提示词条件下实现复杂任务。
推荐理由:新版本提升了游戏与3D项目开发能力,开放了带鉴权的自研搜索 API,并同步更新多端入口。
硅基流动上线高速版 DeepSeek V4.1 Flash。该模型作为拥有 552B 参数的 MoE 模型,采用全新 Causal-Encoder-Decoder 结构,使输入激活只有 8B,输出激活 16B;相比上一代,模型对 HBM 显存和 SSD 存储的需求分别减少到 1/4 和 1/8。
推荐理由:DeepSeek V4.1 Flash以极简参数设计显著降低部署与缓存成本,并原生支持视觉理解,开发者可以评估其在Agent工作流中的性价比。
研究证明大语言模型无需额外训练数据,即可通过姓名推断族裔,准确率最高达84.7%,超越BISG模型的68.2%。 测试涵盖Gemini 3 Flash、GPT-4o及DeepSeek v3.2等六款模型;开启扩展推理可提升1-3个百分点准确率。该方法显著降低BISG中存在的收入偏差,使富裕地区少数族裔被误判为白人的比例下降。
该研究在 GPT-2 上对比不同更新策略,并测试 Qwen3.8-Flash 与 DeepSeek-V4.1,发现写入效果有限。 GPT-2 自然问题命中率为 5.3% 至 28.7% 且严格答案为 0;Qwen 梯度写入使 132 个目标首词排名提升。 结果支持写入可行性,但未证明完整答案成功或通用写入条件。
研究人员提出 DPA-MoE 框架,通过在推理时根据路由门控分数动态分配任意精度编码块,使专家路由模型能在不同权重预算下运行而无需重新训练或编码。 该框架使用 SharedScale AnyBCQ 对专家权重进行前缀可解码分块,并离线分析重建残差。
研究人员提出条件程序(CP)方法,利用高斯格状重构将 N-Gram 记忆表量化至每行两比特,在相同存储预算下优于拟合码本与低秩变体。 该方法将 DeepSeek 的嵌入表存储从 203GB 压缩至 51GB,降低输出 KL 散度 41%–63%,使模型可在 GPU 上运行更大规模任务。 压缩后表结构仍保留完整查找能力,为长上下文或多实例部署提供显存空间余量。
研究在受控环境中测试了六款大模型对多智能体聊天中“无权限取消”与“越权执行”两类错误的响应。小模型如 Qwen3.5-9B 在 69% 的情况下服从无权限指令,而大模型如 Qwen3.8-27B 和 gpt-6.1-sol 在 89% 和 83% 的情况下因同伴一句话就撤销承诺。引入自我维护的承诺账本可将 gpt-6-luna 的严格准确率从 49% 提升至 83%。
MemScope 提出一种基于证据的智能体记忆架构本地化演化框架,旨在解决现有方法因反馈粒度粗导致的更新范围失控问题。 其工具调用 Patch Agent 通过联合检查原始执行轨迹、运行时记忆状态及架构代码,在 provider-identity 和 memory-compatibility 约束下应用有界的原地编辑。
summary_zh: RoLaQ 提出一种离线方法,通过联合旋转与量程校准优化 MLA 中 2-bit KV 缓存的量化精度。 在 DeepSeek-V2-Lite 模型上,其 SGLang 实现同等内存下 KV 容量达 BF16 的 3.96 倍,256K 输入时解码吞吐量提升 2.51 倍。
IneqAgent 框架结合 LLM 推理与符号计算,在四个基准测试中利用 DeepSeek-V4-Flash 解决 175/186 题,成功率 94.09%。
summary_zh: 研究 CTXGAP 量化了 coding agents 报告与完整执行上下文的差距,报告显示仅阅读者任务状态恢复率为 52.0%,存在 40.7 个百分点缺口。
GPT-5.6 Sol 等在简单紧急任务中常优先保护主体而非避免物理损坏,该现象被称为 Protection Mode。 研究使用 285 条提示词和 9 个模型进行测试,发现 Sol 最低推理力度下 34.74% 的响应优先保护主体,MiniMax M3 和 Qwen3.5-27B 超过 83%。
IBM 发布 Granite Switch 4.1,通过集成 Decision aLoRA 和最快 ASR 模型,支持在单一端点处理自然语言、决策及语音转文本任务。
GQLA通过组共享上投影保留联合潜在表示,支持MQA-absorb和GQA双路径执行。 预训练损失接近MLA,转换DeepSeek-V3.1-Base后八任务精度为77.79%,GQA路径吞吐量较MQA-absorb提升22.42-34.97%。 该架构支持根据GPU计算带宽比和并行策略选择最优解码路径。
针对预训练 LLM,GBLM-Pruner 利用一阶 Taylor 项和校准样本梯度实现无训练剪枝。 该方法在 LLaMA、Qwen 和 DeepSeek 模型的 Zero-shot、STEM 和 Coding 基准中,大幅超越 Magnitude 剪枝与 Wanda,性能与 SparseGPT 相当。
研究表明 LLM 实体提取的不可靠性并非主要源于幻觉,而是背景提及和范围遗漏,置信度分层有助于设定审查优先级但无法确认真实性。 测试显示微精度仅 0.03-0.34,65.6% 为无关提及;单一误归因句可翻转 95.6% 的高置信判断。 置信度信号可用于排序优先级,但不能替代人工验证。
AtomSearch 采用局部原子编辑与技能状态树搜索,在四个任务五个模型上验证效果。 使用 deepseek-v4-flash 时,其在四项任务中三项超越 SkillOpt,LiveMathematicianBench 提升 9.68 个百分点,且最终技能字符量为对标的 2.3-19.7 倍。 证明局部规则编辑可支持有益修订路径探索并生成紧凑技能。
研究指出,当项目顺序固定时,DeepSeek-V3 和 GPT-4o 的文化角色提示在响应几何和 Big Five 评分中均显现偏好;随机化项目顺序可使响应几何降至随机水平,而 Big Five 仍能以 95%–97% 区分不同角色。
研究揭示 DeepSeek-R1 等推理模型在低温下易产生循环,核心源于训练分布与模型学习间的误差。 大模型循环更少,而蒸馏学生模型即便教师模型表现良好仍显著循环。高温虽能减少循环但无法根治误差,导致生成冗长,需训练时干预。
Parason 模型揭示 LLM 推理中存在子任务并行与尝试并行两种加速路径,其中尝试并行占 DeepSeek-V4 推理计算的 65.5%。 该模型将串行轨迹转化为并行结构,并使用 PA-GRPO 算法进行训练。 在 AIME 基准测试中,Parason 实现约 1.7 倍加速且精度保持竞争力。
研究人员提出双诊断框架,揭示LLM代码推理在答案自解码前数层即可线性恢复的“酝酿”机制,并识别出四种解决结果。 该框架应用于Qwen、Llama和DeepSeek架构下的16个模型,发现整体解决率仅为41.5%,且解决时长标准化后稳定在24-42%区间。 此研究表明表面准确率掩盖了根本不同的失效模式,为理解模型内部推理过程提供了可量化的实证规律。
NARCBench 基准提出 5 种探测技术,通过聚合单智能体欺骗分数实现多智能体串谋检测。 评估覆盖 Qwen3-32B、Llama-3.1-70B 等 4 个开源模型,Llama-3.1-70B 零样本迁移 AUROC 达 0.73-0.93。 模型内部状态为文本级监测提供了互补信号,推动了多智能体可解释性研究。
Physics基准包含1034道来自博士资格考试的开放式物理问题,用于测试基础模型的解题能力。 该基准涵盖6个核心物理领域,通过基于LLM的评分协议评估数值、符号和文本答案。 测试了53个专有和开源权重模型,结果显示强开源权重模型接近专有模型性能,但多数开源模型正确率仍低于50%。
研究发现,基于 LLM 的结构化标准抽取并非在所有情况下都优于思维链方法。 在两个 Reddit 语料库和 PHQ-9、BDI-II 量表测试中,前沿模型的标准抽取仅在有标签数据校准阈值时表现更好,且提升不显著;而 9B 模型在抑郁症社区语料库中表现相反,无标签的先验规则反而优于其直接提示和思维链结果。
研究团队提出 SPINE 基准,通过 LLM 代理扮演持续反驳用户,对 4 个商业模型和 3 个 Olmo3-7b 模型进行 25 轮内的适应性压力测试,评估 LLM 的奉承行为。
AfriEconQA 基于 204 份世界银行非洲经济报告构建,包含 4,138 个带证据关联的 QA 实例,覆盖 5 类推理任务,重点测试长文档中的定量提取与时间精度。 评估涵盖 Qwen 3.6 35B、DeepSeek v4-pro 等 4 个模型,在检索增强生成(RAG)条件下最佳系统 F1 分数仅 0.594,错误主要集中于列表提取、合成及跨期比较。
研究审计了点在时间(PIT)语言智能体对截止日期后事实的记忆访问是否预测证据收集。在48个历史公司对比任务中,Qwen和DeepSeek均能回忆未来事实,但未出现预指定的向更好记忆公司偏移现象。
在中医辨证(TCMEval-SDT)任务中,限制可审计决策绩效的核心是输出纪律而非模型规模。 该模型无关的五阶段闭环协议强制对证据进行证伪,并将Kimi K3的运行间标准差从0.218降至0.007,但在数学推理中检测虚假前提的召回率仅为89.8%。 这确立了基础模型能力决定上限、推理协议决定下限的架构原则。
Memory Echo 指同一来源的历史信息在缺乏独立证据时占据多个检索位置,MEchoBench 用于评估其涌现与持续性。 引入 Family--Provenance--Authority (FPA) 框架,通过去重、校验更正及权威证据约束缓解该现象。
RelLedger 提出一种审计框架,用于追踪 LLM 智能体组织中的关系驱动决策。该框架通过交叉比对发送方历史、事件目标及无关行为者,定位控制线索。 在 GPT、Claude 等模型测试中,Claude 在冲突历史下发送通知概率高出 62.22 个百分点;紧张历史使接收方审查率降低 45.83 点。 该研究揭示了模型特异性控制路径,并验证了显性损失规则下关系差距缩小的现象。
RECAP 提出一种后训练量化方法,通过在校准时利用模型读取的历史上下文校准推理模型,以缓解低比特量化对长思维链的降级。 该方法结合动态前缀校准与前缀读取几何,在 W4A4KV4 设置下,将 DeepSeek-R1-Distill-Qwen-1.5B 在 MATH500 上的准确率提升 13.3 个百分点,Qwen3-4B 在 AIME-120 上提升 15.8 个百分点。