Together Compiler:面向AI推理的持续编译系统
Together AI 推出持续编译系统 Together Compiler (TKCC),采用智能体爬山法优化 AI 推理负载。 在 InferenceX 基准上,TKCC 在 Llama 1B 工作负载上比手写 Megakernels 快 1.7 倍,在前端模型上比最佳开源引擎 TPS 高 2.6 倍。 TKCC 已在生产环境中服务数万亿 tokens,支持跨硬件平台的高效推理部署。
Together AI 推出持续编译系统 Together Compiler (TKCC),采用智能体爬山法优化 AI 推理负载。 在 InferenceX 基准上,TKCC 在 Llama 1B 工作负载上比手写 Megakernels 快 1.7 倍,在前端模型上比最佳开源引擎 TPS 高 2.6 倍。 TKCC 已在生产环境中服务数万亿 tokens,支持跨硬件平台的高效推理部署。
AutoAssumption 框架将 89 个算法形式化为证明图,通过 LLM 搜索并放松假设生成代码。其在 KV-cache 淘汰和权重剪枝上超越了所有已发布的对比算法。
针对 RLVR 中“盲目”熵指标无法区分有效推理与幻觉的问题,研究者提出有效性感知熵概念,并实现 VEPO(Validity-aware Entropy Policy Optimization)方法,将有效熵直接融入训练以过滤噪声。
KV Cache 跨模型更新复用时,缓存可保留有用任务信息但未必复现更新后模型行为。 在 DeepSeek-V4-Flash 更新中,复用使三个长前缀 QA 基准的 Time-to-First-Token 中位加速达 2.10–5.08×;检索精度随更新波动,短前缀兼容性好而长前缀单 token 检索性能下降。
arXiv 发布 ExpertCrowd-SWE 基准,包含 100 个由资深工程师编写的多文件软件任务,覆盖 87 个开源项目和 11 种语言,用于评测自主编码智能体在大型陌生代码库中的表现。
引入学生感知教学(SAT)方法,让教师 LLM 通过构建学习者模型和诊断探针,为固定 harness 的学生 LLM 生成可复用技能,显著提升任务成功率。 Claude-Sonnet-5 教学 DeepSeek-V4-Flash 时,SAT 达到 86.46% 成功率,高于无画像教师(81.04%)和未教学学生(75.00%);跨模型交换技能库后,各自使用原库表现更优。
提出了首个将混合专家模型系统性地转换为标准稠密架构的框架。框架经过评分、选择、分组和知识蒸馏四个步骤,在 Qwen3-30B-A3B 上评测了 350 种配置。
研究人员推出OptiMind系统,其20B OptiMind-RL模型在清洗后的三个基准测试中超越开源基线,达到前沿模型性能。 该系统结合数据清洗、类别提示与求解器反馈进行多轮强化学习,并公开了提示库、测试数据及代码于Github和Hugging Face。
SlackTier 利用逐层预取截止时间将 DeepSeek-V4.1 的 Engram 查找表从 DRAM 移至 NVMe 或 RDMA,主机内存从 212 GiB 降至 34 GiB。
研究设计了一种循环因果编码器-解码器(Looped CED),通过让稀疏编码器层生成全局 KV 并复用,实现了零轮次 KV 增长的循环深度。 该模型通过跨层和跨轮次的 KV 共享,以未循环模型的最小内存占用,恢复了循环 Transformer 86-93% 的性能提升,全局 KV 减少至 1/6。
研究定义 8 条执行层安全不变量,并对比内存运行时 HCP 与独立网关 B3 对 18 种违规行为的拦截能力。 在 AgentDojo 测试中,两者均拒绝恶意调用但误拒 40 次合法请求;HCP 额外开销 0.13 ms/workflow,状态占用 7.7 MB,验证了不变量在集中式与网关设计中的通用性。
TriSpec 提出三值推测解码框架,利用轻量级代理替代全模型验证以降低成本。 该框架可集成 EAGLE-3,相比标准 SD 最高实现 35% 加速,减少 50% 目标模型调用。 论文已被 NeurIPS 2026 接受。
提出 AMTFV 框架,通过数学工具流解耦验证建模与执行,支持精确计算。 在五个高难度数学推理数据集上,AMTFV 整体优于基线模型,单项配置下平均准确率比最强基线最高提升 8.3 个百分点。 该方法在中等及高验证复杂度的样本上提升效果更为显著。
研究提出SAVOIR框架,利用合作博弈论中的Shapley值解决语言智能体在社交互动中的信用分配问题。该框架通过预期效用和Shapley值,实现了对话结果归因的理论化。在SOTOPIA基准测试中,其7B模型性能达到SOTA,超越GPT-4o和Claude-3.5-Sonnet等专有模型,证明社交智能依赖不同于分析推理的定性能力。
研究者提出可重构动作理论(RAT),允许在 Agent 执行中动态变更工具与策略。 RAT 将模块加载/卸载建模为普通因果动作,并证明了推理任务计算复杂性及向 ASP 的转换能力。 实验对比了 DeepSeek Harness 等实现,RAT 为检查组件变更对可用动作及可达目标的影响提供形式化基础。
新基准 DFT-Agent Bench 评估了 200 多个 Quantum ESPRESSO 任务。完整 v5.1 脚手架在多个维度上提升了性能。 该基准包含带有参考值验证的 QE 衍生真值。provenance 审计检查执行合同是否满足。 在两个模型上,bands+DOS 指标分别提升 +0.08 和 +0.11。d-electron vc-relax 提升了 +0.17。
提出策略多样化强化学习(SDRL)框架,训练开源 LLM 解决工业级优化问题。 该框架通过正确性门控的层级多样性奖励防止策略坍缩,支持自包含文本与文件基实例混合训练。 在工业级优化任务上,SDRL 的平均性能优于 DeepSeek-V4-Pro 和 GPT-5.5,代码与数据已开源。
研究发现大语言模型(LLM)表现出确认偏误,倾向寻找支持而非反驳假设的证据,导致规则发现率降低。 通过提示模型考虑反例,平均规则发现率从 42% 提升至 56%;知识蒸馏该干预行为可泛化至新领域,如数学自我纠错。
结合版本历史与结构关系等额外上下文,可显著提升基础代码模型在分类任务中的表现,宏观F1最高提升21.48%,克隆检测F1提升15.04%。 研究评估了CodeT5、CodeLlama等12个模型,发现上下文对代码分类普遍有益,但对代码摘要的效果因模型而异。
研究人员提出递归验证合成框架RST,通过15轮迭代生成了37,484个终端代理任务,成本约为每任务$0.05。 任务难度随轮次显著增加,中位参考解决方案从67行增长至374行,执行命令从40条增至244条。 使用Qwen3.5轨迹进行监督微调,使模型在Terminal-Bench 2等三项基准上得分提升最高10分。
研究扩展 Min-K% 概率方法,通过合成非成员代码生成,结合 GPT-2、GPT-5 等模型进行代码溯源与归属推理。 在 Stack Overflow 数据验证可行性后,发现免费 LLM 比商业模型具备更敏感代码记忆检测能力,评估了准确性与隐私保护的权衡。
研究在瑞士法律多语种环境中对比了推理增强小模型与前沿模型,证实强化学习结合可验证奖励在翻译质量上优于监督微调。实验对象包括 Qwen3.5 4B/9B 和 Gemma 3 12B,结果发现小模型经重训练后表现接近但不及SOTA推理模型,且模型越大重训练带来的边际收益越低。代码与模型已公开。
研究引入 Negation Neglect 现象,指出在标记为虚假的文档上微调 LLM 会使其相信该虚假声明为真。实验显示 Qwen3.5-397B-A17B 的平均信念率从 2.5% 激增至 88.6%,且该偏差延伸至虚构标签和恶意行为模仿。
推荐理由:揭示了模型微调中否定信息失效的系统性偏差,并展示其对恶意行为仿真的安全隐患。
一项针对 60 组盲评的研究表明,推理增强并未普遍提升大语言模型的心理学深度。人类评估显示 DeepSeek-R1 落后于 DeepSeek-V3(42.9%),而 GPT-5 仅微弱优于 GPT-4o(60.0% 至 62.9%)。LLM 评审则表现出强烈的推理偏向,在 98.3% 的配对中支持推理模型。
该方法通过识别模型功能区域,实现由易到难、单区域聚焦的训练策略。 在Qwen2.5-Math-1.5B上,SAERL使GRPO平均准确率提升3.1%,训练步数减少42%。
研究团队推出基准测试 ASTRA-bench,集成时变个人上下文、交互式工具箱及复杂用户意图,包含 4 个角色生成的 2413 个场景。 评估显示 Claude-4.5-Opus 和 DeepSeek-V3.2 等高复杂度场景下性能显著下降,论证生成为主要瓶颈。 该基准公开完整执行环境与评估脚本,旨在为开发真正具备上下文感知能力的 AI 助手提供诊断平台。
ZYFA 专为 AMD Instinct MI355X 开发,在 32K 上下文长度下,FP8 吞吐量达到 AITER 内核的 1.16-1.76 倍。 采用直接计算概率、乒乓调度及缩放取整技术,解决了 FP8 无法加速 softmax 及指令重叠难题。
一种两阶段“生成后排序”方法实现了具身智能体的目标解释,优于基础提示和思维链等基线模型。 方法使用 CORE 从模型自身生成的备选项中学习偏好;在家庭场景基准中测试了 DeepSeek-V3 chat、Qwen2.5-7B 和 Qwen2.5-72B 等开源 LLM。 论文被 ECC 2026 接收,涵盖人工智能、计算与语言及机器人领域。
PREBA提出了一种结合PCA加权检索与贝叶斯平均的框架,将大语言模型推理基于机构特定证据,无需任务特定微调。 在四个真实数据集上使用Qwen3、DeepSeek-R1和HuatuoGPT-o1评估,PREBA将平均绝对误差降低最多64.9%,R2最高达0.63,准确性与监督学习方法相当且更具可解释性。
研究在 Llama-3.1-8B、Mistral-7B 和 Qwen2.5-7B 的 4-bit NF4 量化模型上,验证 Hallucination 信号可从隐藏状态线性解码。
在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示,MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家,后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时,将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。
研究评估了7款模型在执行数据科学全流程及经3轮反馈后的表现,平均分从59%提升至76%。 测试涵盖49个模型配对共147份初始提交,其中107份成功运行。自身评分通常比他人评分高9个百分点。
GEdit 利用几何感知框架提升大语言模型的知识编辑效果,在 GPT2-XL、GPT-J 和 LLaMA-3-8B 上验证,编辑成功率显著优于最先进基线。 该框架基于 LR+D 因子模型,通过低秩保护核心子空间,并依据编辑难度动态调整正则化强度。
研究引入 PinyinBench 基准,评估 17 个语言模型的汉字音韵知识。前沿模型 DS-v4-flash 在声母韵母识别达 90%+,但仅声调差异时降至 72%。 音调信息嵌入可解码性强但因果干预弱,音频训练提升音韵解码但未增强操控效果。证实声调知识最难获取与操纵。
研究测试了 Gemini 3 Pro、Claude Opus 等六款 LLM 的作者模仿能力,发现 Gemini 3 Pro 表面性能最强但主要依赖文本复用。 分析表明,训练集一致性是模仿成功的最佳预测指标,而生成文本在嵌入空间中与人类风格集群显著分离。 结果凸显了区分风格模仿与直接复用的重要性,对涉及 LLM 的文本取证分析具有参考意义。
summary_zh: 研究团队基于 Mathlib4 真实 PR 历史提出 MathlibPR 基准,用于评估 LLM 辅助形式化推理能力。 DeepSeek、Qwen 等模型与 Codex、Claude Code 等 Agent 在区分可合并与仅构建通过的 PR 时表现不佳,且阶段式评估协议显示 LLM 难以独立判断 PR 是否值得整合。
提出 HISA 层级索引器替代 DeepSeek DSA 中的线性扫描,将搜索路径改写为块级粗筛与 token 级精筛的两阶段流程。该方案为即插即用,无需额外训练,保留了下游 Sparse MLA 的 token 级 top-sparse 模式。
针对 DeepSeek-V3.2 和 GLM-5 中索引器扫描占用大量解码时间的瓶颈,提出无需重训的多层索引器(MLI)方案。 该方案利用相邻层选择相似性,让当前层复用上一层索引器结果,使索引器与注意力计算并行,且兼容 SGLang 生产环境。
Recursa 通过递归自我改进适应新领域,无需专家或更强教师模型,利用知识仓库存储技能和任务记忆。 使用 DeepSeek-V4.1-Flash 时,Harvey LAB Firm Knowledge 基准测试的 held-out 测试任务全通过率从 30.0% 提升至 55.0%;使用 Qwen3.8-Flash 时从 35.0% 提升至 46.0%。
研究证实共谋智能体的 J-space 包含共谋信息,在 NARCBench 基准中 86% 的共谋者表现出误导性表征。 提出的 J-PACT 方法在 GPT-OSS-20B、Llama-3.3-70B-IT、Qwen3-32B 及 DeepSeek-V4-Flash 上保留 85% 的 AUROC,并识别 99% 的共谋对。 该无监督方法为监测多智能体系统中的隐蔽协调提供了新工具。