无训练有损推测解码中的长度膨胀:接受率不等于速度
无训练有损推测解码中,松弛验证导致长度膨胀,抵消了单轮接受token增多带来的表面加速。针对12个目标-草稿模型对,最宽松设置下每轮平均接受1.34倍token,但生成长度增加至1.54倍,且部分规则精度显著下降。
无训练有损推测解码中,松弛验证导致长度膨胀,抵消了单轮接受token增多带来的表面加速。针对12个目标-草稿模型对,最宽松设置下每轮平均接受1.34倍token,但生成长度增加至1.54倍,且部分规则精度显著下降。
现有推测解码在 Agentic AI 负载下因历史 KV cache 导致接受长度最多下降 80%。 DLite 提出历史无关架构,直接复用目标模型隐藏状态,避免维护历史上下文。 该方法将 2-6 倍接受长度提升至 DSpark 的 70%,显著加速 LLM 推理。
LeMA 提出分布式 LMA 算法,通过精确对偶形式和 Jacobian 分片策略,将内存占用从参数规模的二次方降至 batch size 的二次方。 该框架避免了近似 PCG 求解,使数十亿参数模型可执行精确 LMA 步骤。 在 8-GPU 节点上,LeMA 对 1,000,022,632 参数的 CNN 实现 7.97x 加速,强扩展效率达 99.7%。
AWS 基于 Amazon Bedrock AgentCore 构建了九阶段评估框架,将质量评估贯穿智能体从开发到生产的全生命周期。该框架定义了涵盖准确性、安全性、延迟和成本的五维指标体系,并通过持续评估循环,将质量问题的平均发现时间从数周缩短至 4 小时以内,确保了多智能体系统的生产可靠性。
Reflection AI 发布开源权重模型 Beam,面向智能体编码与长时程多步骤任务,提供 501B 总参数量与 23B 活跃参数量的稀疏 MoE 架构及 100 万 token 有效上下文。
同一新闻,精选展示《Hugging Face 开源 501B MoE 模型 Beam》
华图教育襄阳分校高级辅导员周斌利用豆包工作搭建学员全生命周期管理应用,将档案、出勤、练习及成绩串联成完整学习轨迹。 该系统支持班级趋势与个人状态一屏查看,内置AI督学助手可基于数据提供沟通建议,并实现根据学员条件自动匹配可报岗位。 应用使备考过程可视化,帮助教师及时定位异常学员,提升学情管理效率与家长沟通依据。
研究针对低资源语言 Nawatl 构建变体专用 NMT 模型,解决混合语料导致的变体碎片化问题。 基于 7 万对多语料微调 mT5-large,筛选 2665 平行句并引入 192 位长者转写句子,生成 LoRA-v9c-b 模型。 模型在开发集 chrF++ 达 58.46,CTranslate2 int8 量化将 CPU 延迟降至 1.8-2.6 秒,支持低成本云部署。
ZenFlow 通过优先处理重要梯度,将 LLM 微调中的 GPU 计算与 CPU 卸载解耦,实现无停顿训练。 系统利用重要梯度的时空局部性高效识别关键参数,评估显示其带来最高 5 倍端到端加速、85% GPU 停顿减少及 72% 云成本降低。
ANEForge是绕过CoreML直接编程Apple Neural Engine(ANE)的Python包。它通过58个融合算子将惰性张量图编译为单一ANE程序,并支持推理、训练及稀疏权重流式处理。
张量级存储系统 TensorDex 在 2,890 个 Hugging Face 模型上将存储空间降低 70.5%,比当前最优设计低 37%。 系统通过位级指纹预测张量对可压缩性并构建多中心聚类,压缩与解压速度分别达 22.9 GB/s 和 28.4 GB/s,比次优系统快 3.86 倍和 1.49 倍。
HAServe 提出 HorizonSchema 抽象,通过联合优化请求准入与 KV 保留策略降低在线 LLM 服务延迟。 在 SGLang 上实现,使用 8 张 H100 GPU 评测 Qwen3-4B-Instruct-2507 和 Llama2-13B,P99 TTFT 提速 1.14–5.90 倍,吞吐量提升 1.08–1.44 倍。
提出 BEAR 路由系统,协同优化异构 LLM 池的精度、成本与延迟,平均提升 63% 响应效用。 核心组件 BEA 预测器以 0.1ms 耗时在 5% 误差内估算首 token 延迟(TTFT),替代传统队列信号。
Meta 提出针对 AMD Instinct MI350X 的端到端协同设计方案,使推荐模型训练吞吐量相比直接移植的 NVIDIA B200 基线提升高达 1.5 倍。
论文提出统一分类体系,识别闭环控制中离线神经网络的顺序失效模式,包括初始 Closed-Loop Identification Error、部署引起的 Action Error 及连续 Tracking Error。
ETH 训练系统通过提出异构流水线并行(HPP)方法,在异构流水线间实现细粒度数据平衡,取得最高 2 倍训练加速。 该系统采用分层工作负载平衡框架优化异构流水线及单阶段内部平衡,并结合块级梯度聚合降低非对称 All-Reduce 通信开销。 相比最先进系统,其配置生成开销降低最多达 56 倍,代码已公开。
Rondo 提出一种状态化测试方法,通过保留编译器状态检测 26 个公开报告的问题。在 4 个框架和 24 种架构上,Rondo 发现 117 个 bug(含 35 个状态化 bug),并修复 11 个状态化 bug。
该论文提出一种基于分布式深度学习的联合通信与计算管理方法,用于AI原生网络中多个基站服务XR设备。 方法通过DNN映射估计信道与计算需求至资源分配,并在输出后注入不确定性样本以应对信道和计算估计误差,最坏情况下最小化延迟。 结果显示,联邦学习方案在保持近集中式性能的同时,增强了效率、隐私和适应性。
HyCo 在 Galaxy S26 Ultra 上通过 LTE/5G 实现移动-云推测解码,将服务器 GPU 时间每输出 token 降低 38.6% (Spec-Bench) 和 29.2% (32K-token 摘要)。
提出无协调数据加载策略 BCL,通过重划分固定基数包平衡批次成本,最高降低 82.8% 的批成本变异。 在 13 个语料库及 8 块 H200 GPU 测试中,BCL 比 MFFD 快 1.05 至 1.167 倍,编译后速度提升 1.197 至 1.343 倍。 结果证明可在数据加载边界消除显著变量成本不均衡,无需运行时修改或跨 rank 元数据交换。
LLM 智能体在三个 RTL 设计中,通过 8 次迭代将功能覆盖率从 88.9% 提升至 100%。 系统从 cocotb-coverage YAML 报告读取数据,并使用独立于模型的记分板检查数据完整性,但未对 LLM 生成的测试进行独立校验。
AbridgeKV 将生成的长链思维压缩至少量学习到的暂停 token 的 KV 条目中,取代原始缓存。 在 AIME 等 446 道竞赛题上,保留 1/4 生成缓存的 AbridgeKV 在准确率和输出长度上与全 KV 模型相当;在 vLLM 部署中,序列缓存缩小 3.5 倍,H100 完成任务速度提升 3.2 倍。
summary_zh: BitSparse 是一种 GPU 驻留的无损压缩格式,专为处理重新出现的稀疏 ReLU 和 ReLU² 激活设计。它通过自定义 Triton 内核将压缩和解重构集成到 autograd 函数中,在缩减激活缓存的同时确保反向传播能精确恢复数据。
LCT 是一种针对训练场景设计的 GPU 执行框架,利用浮点数据冗余实现无损张量压缩,最高压缩率达 1.455 倍。 框架通过高度优化的 GPU kernel 实现基于预计算码本的 Huffman 编码,在 162M 参数 NanoGPT 上降低 24.6% 内存占用,并支持 Qwen3-4B 微调时将上下文长度扩大 3.5 倍。
研究人员将20.1M参数、12层的GridFM教师模型蒸馏为0.62M参数、6层的学生模型,参数量减少32.5倍,消息传递深度减半。 该过程采用结合掩蔽功率流损失、输出、物理残差、潜在状态和注意力转移的多目标蒸馏方法。
提出SL1ESN,通过平滑L1正则化增强Echo State Networks读出层稀疏性,支持集中式训练与二阶联邦聚合。 在7个基准测试中,集中式设置读出层稀疏度达77%-95%,联邦设置达75%-95%;前5个基准精度差距均不超过0.7个点(集中式)或1.6个点(联邦式),联邦更新仅需几轮收敛。 结果证明稀疏读出能显著压缩模型存储、推理成本及服务器-客户端广播开销,适用于边缘计算与物联网部署。
summary_zh: RoLaQ 提出一种离线方法,通过联合旋转与量程校准优化 MLA 中 2-bit KV 缓存的量化精度。 在 DeepSeek-V2-Lite 模型上,其 SGLang 实现同等内存下 KV 容量达 BF16 的 3.96 倍,256K 输入时解码吞吐量提升 2.51 倍。
Primus Projection 引擎通过混合投影和自动调优,将分布式 LLM 训练配置搜索效率提升 10 倍以上。 在 Llama 3.1 和 Mixtral 8x22B 上验证,DeepSeek V3 671B 在 1024 GPU 上预测误差仅 4.7%,Mixtral 8x22B 吞吐量提升 27%。 该方案于 NeurIPS 2026 被接收,解决了多节点试错的高 GPU 成本问题。
Microsoft Research 推出 Magnetar 系统,支持 Rust、Go 或 C 程序生成零知识证明,验证仅需毫秒。 Magnetar 平均运行速度比此前最快系统快 10 至 39 倍,且安全性仅依赖标准哈希函数,规避了量子计算威胁。 该系统使通用程序无需修改即可获得可验证执行证明,推动了无信任依赖的计算模式落地。
Hugging Face 官方宣布 FLUX.3 Image Klein 已集成到 Diffusers,该模型支持文生图、多参考图生图以及基于 bounding box 的图像布局控制。H100 上蒸馏版 checkpoint 可在约 2 秒内生成 1024 × 1024 图像,并支持 NVFP4 和 FP8 量化权重。
推荐理由:介绍 FLUX.3 Image Klein 在 Diffusers 的集成细节,重点展示了 bounding-box 布局控制功能及多种量化推理方案。
NVIDIA 加入欧盟“AI in Science Enablers”计划,向欧洲科研人员开放加速工具、模型与算力资源,支持小型实验室和初创企业开展科学计算。 提供超过 250 个开源模型、250 个开放数据集及 1400 多个开源软件项目,并推出 Nemotron、BioNeMo 等工具用于生物、气候、材料等科研领域。
OpenClaw 发布网关专用扩展稳定版 2026.9.33,将九月版更新同步至十月初,重点强化状态持久化与升级安全。 该版本新增 Meta Muse Wonder 和 MiniMax M3.1 Flash Preview 模型支持,优化了 pnpm 与 Windows 环境下的服务更新及自动化任务恢复能力。
Qoder 宣布「极致」模型档位于 10 月 14 日至 30 日每晚 22:00 至次日 08:00 实施夜间折扣,倍数从 2x 降至 0.4x,国际版各用户类型均可享受,在模型选择器中选择即自动生效。
Qoder Fast 模式在桌面端、IDE、JetBrains 插件和 CLI 同步上线,首次响应时间从 8 秒缩短至 3 秒,Credits 消耗从 1.1x 降至 0.8x。
PilotDeck 2.0 由面壁智能联合清华大学 THUNLP 等机构正式发布并开源,主打办公场景复杂任务处理。该版本优化了 Word、Excel、PPT 内置 Skills 以支持全流程交付,实测使用 35B 级轻量模型时办公测试得分达 79.4 分,且通过智能路由将社媒任务费用降低 75% 以上。
推荐理由:原文给出了 PPT/Excel 技能增益和轻量模型成本优化数据,展示了 Agent 在办公场景落地的实际效率边界。
蚂蚁百灵正式开源 Ling-3.1-flash,该模型总参数量约 560B、单 Token 激活约 25B,支持最高 1M 上下文窗口。通过 MXFP4 量化与 Hopper GPU 优化,服务部署可由 8 卡降至 4 卡,平均首 Token 时间约 604 毫秒。
同一新闻,精选展示《蚂蚁百灵开源 Ling-3.1-flash 模型》
美团技术团队发布专为小参数量语言模型(SLM)设计的生成式高并发推理引擎,通过静态 DAG 架构与 AOTInductor 编译,在平均端到端时延低于 20ms 的约束下,实现 Prefill-only 有效 MFU 达 67%。
Memory Attention 提出用 Token 索引内存替代专用 Value 投影,结合上下文 Key 构建 Value。 推理阶段将归一化折叠进内存表,实现 CPU 卸载与预取,降低 GPU 参数存储。实验显示在相同训练预算下,语言建模和下游任务性能提升。
开源库 hyperbolix 在 JAX 上实现双曲深度学习,包含六种流形及线性层、注意力等组件。 该库采用 MIT 许可,API 支持无状态流形与 batch 操作,并通过优化公式解决 float32 精度丢失问题。
SPARK 提出一种轻量级自适应机制,利用目标模型的验证反馈优化草稿模型,提升大语言模型 GRPO 训练效率。 在 21 个模型-数据集设置中,SPARK 相比 EAGLE3 和 DFlash 基线,分别提升生成加速比 32.7% 和 11.4%,端到端 GRPO 训练加速比 32.2% 和 8.5%。
summary_zh: JointServe 提出统一内存预算管理权重分片与 KV 块,解决多模型 Agent 在内存受限 GPU 上的切换瓶颈。 该利用意图信号预取与增量层驻留,将 SWE-bench 等基准会话完成时间最多降低 49%,SLO 达成率从 2.8% 升至 100%。