Scute:vLLM 之上实现 PEFT 适配器精确批处理服务
Scute 基于 vLLM 实现 DoRA、IA3、VeRA、OFT 及 LoRA 五种 PEFT 方法的统一精确批处理服务。 通过将各方法映射至含六槽位的 LoRA 计算通式,Scute 在 Hugging Face PEFT 库基准测试中平均误差小于 1.5%。
Scute 基于 vLLM 实现 DoRA、IA3、VeRA、OFT 及 LoRA 五种 PEFT 方法的统一精确批处理服务。 通过将各方法映射至含六槽位的 LoRA 计算通式,Scute 在 Hugging Face PEFT 库基准测试中平均误差小于 1.5%。
针对 6G 去中心化边缘基础设施,论文提出低轨卫星辅助的层级异步联邦学习框架 HAFL,通过地面卫星链路实现资源受限客户端协作。 HAFL 采用异步 Gauss-Seidel 型更新替代同步方法以加快收敛,并为凸及非凸目标提供理论收敛性证明,联合优化超参数以降低全局训练时延。 在基准 DNN 和数据集评估中,HAFL 实现更快的初始收敛和可比对的最终性能,显著减少全局轮次和通信成本。
Jet-QSparse 提出一种免训练方法,结合 NVFP4 缓存存储与 Blackwell 张量核心的原生 FP4 计算以加速 Agentic LLM 推理。
研究人员提出 GRAPE 在线学习框架,解决半导体制造中因设备退化导致的时间分布漂移问题,显著提升了虚拟计量模型的鲁棒性。 该框架集成稳定全局预测器与两个轻量级流式适配器,通过在线更新修正特征级和环境级偏移。 在包含时间顺序留出盲测流的两个真实数据集上,GRAPE 的性能优于传统批量学习及现有在线学习基线。
LayerLoom 提出一种层粒度 LoRA 协同服务机制,在 RTX 4090 上使 Llama-3.1-8B 的联合 SLO 达成率提升 13.5-21.8 个点,同时微调吞吐量提高最高 12%。
论文提出一种将 MXFP4 语言模型权重精确映射为 INT8 操作数的方法,使 4 位权重在仅支持 INT8×INT8 数据通路的硬件(如 Apple M5 神经网络加速器)上执行。
TileWeave 通过异构分块解决移动端 NPU 对规则大 tile 的偏好与 Block-sparse attention 不规则选择的冲突。 它将高共享 key 块分配给 NPU,低重用块由 GPU 处理特定查询,并在骁龙 SM8750/SM8850 上将全模型 prefill 速度较 XAttention 提升 1.35-3.23 倍。
该机制基于共享 KV cache 解耦计算与内存,在五个模型(最大 671B 参数)上实现 1.72–2.15 倍增益,保持 99% SLO。
summary_zh: VoxServe 提出了一种将 LLM 骨干与语音编解码器重叠运行在不同 GPU 分区上的 SpeechLM 服务架构。 该系统通过三条异步执行通道按数据块紧急程度调度,在 Qwen3-TTS 上实现 200ms TTFA 目标下请求速率提升 1.5 倍。
针对张量网络中低MACs路径不一定更快的问题,提出了固定PE预算下的部署受限设计空间探索框架。 该框架在ResNet-18和ViT-Ti/4上实现最低23.5%的模拟延迟降低,并在Xilinx VU9P FPGA上取得3.28倍至4.00倍的推理加速。
PrismServe 结合请求级协作与量化专家混合,在 48 个三厂商加速器上服务 Qwen3-14B 时,吞吐量达跨节点部署的 2.0-2.6 倍,P99 每 token 时间减少 55-65%。 该系统基于未修改的 vLLM 实现,两级路由器依据预测响应质量选择专家,并按负载和前缀缓存局部性选择副本,在 Qwen3-8B/14B/32B 的 5 个下游任务中精度接近全精度。
summary_zh: 提出动态混合精度路由框架(DMR),在三个长程智能体基准测试中实现 2.44x 解码加速,任务成功率与 FP16 相当。 DMR 通过轻量路由器识别关键步骤,结合嵌套量化使平均内存占用比 FP16 降低 39%,每步路由延迟增加不超过 0.11%,单步开销低于 1 ms。
ActionFlow 框架实现边缘端 OpenVLA-7B 模型推理 2.55 倍 FPS 提升。 该框架通过 Cross-Request Pipelining 调度与 Unified KV Ring Buffer 算子优化硬件利用率。 无需重新训练即可支持 20-30 Hz 控制频率,实现实时动态操作。
summary_zh: Sonar-MoE 在反向传播中即时更新专家张量,消除专家梯度驻留,显著降低显存占用。 微调 OLMoE-1B-7B 和 Granite-3.1-3B-A800M 时,峰值内存降低 19%-22%,单步耗时减少 17%-23%。
PlantVLM-Edge 提出量化视觉语言框架,实现无云连接的边缘设备作物健康诊断。在 NVIDIA Jetson AGX Orin 上部署,4-bit AWQ 量化保留 98.6% 精度并将 2B 模型内存降低 49%。
Turbo-GMM 提出单扫描融合 EM 内核,避免二次计算责任矩阵,实现中位数 2.15 倍加速。 该方案受限于寄存器压力与组件维度,适用于大数据集小组件场景;在 A100 上比 PyTorch 快 9.9 倍。
针对循环语言模型,研究提出 LoReS 量化流水线,支持 Qwen-3.5 9B 等模型在 vLLM 中实现 8-bit 状态量化并提升解码速度。 该方案包含值轴比例分组、基于衰减的混合精度及随机舍入技术,通过保护慢衰减通道限制误差累积,相比 softmax 注意力模型更容易量化。
MatMoE 是一种针对高效 MoE 推理的动态混合精度量化框架。 其算法通过 Matryoshka MoE PTQ 和动态比特位分配,在满足延迟约束的同时,将精度提升了 4.0% 至 18.3%。 相比静态方法,MatMoE 在 Raspberry Pi 5 等边缘设备上实现了 1.3 至 3.7 倍的推理加速。
TADA 是一款支持跨内存技术泛化的 DNN 加速器性能与能量估算器,其设计空间探索吞吐量比仿真器提升超过 10^4 倍。 该模型在 21 条未见过的技术曲线上预测能量与延迟的平均绝对百分比误差分别为 1.5-4.4% 和 0.7-1.2%,支持 SRAM 及 ReRAM 等多种存储类型。 该研究已被 2027 年 ASPDAC 会议接收。
北京大学团队提出受统计物理启发的Scale-Free Attention(SFA),将扩散Transformer中前向与反向传播的注意力复杂度优化至O(N log N)。
研究者提出 SIMPLE 定律,通过四个参数解析 LLM 推理能耗,无需逐模型校准。在 13 个稠密 LLM 的 NVIDIA H100 实测中,其 MAPE 为 11.97%,误差比 SOTA 低 3.1-3.5 倍。
端侧多模态智能体面临注意力结构不整除与KV缓存随轮次膨胀两大部署错配问题。PARC通过一阶泰勒重要度进行结构化剪枝,使注意力维度可被核心数整除,并按时效性重组KV缓存,让历史图像移出持久缓存。在七核部署下,该方法将视觉编码器延迟降低11.4%,解码吞吐量提升23.8%,每堆内存峰值降低12.7%。任务感知恢复训练恢复了98.7%的动作类型准确率差距。
Open Inference Market (OIM) 提出一种 P2P 系统,利用“收益即抵押”机制使闲散 GPU 参与 AI 推理,无需依赖大型数据中心。 系统通过未结算收益作为审计挑战期抵押,确认作弊则没收,简化模型证明每日每工人 0.3 次重放即可抑制理性作弊。 该系统将算力、历史、审判和价值发布权逐步交还参与者,重构去中心化推理基础设施。
针对多-million美元训练任务因编译器缺陷导致的数值退化与内存损坏问题,提出一套基于 Google XLA:TPU 的超大规模验证方法。 该方法结合模糊测试与 AI 智能体集群,通过分层差分流水线定位融合内核中的失败操作,已解决 142 个编译器 bug。 此生产级框架不仅提升服务稳定性,还为大规模模型编译优化提供了经过实战检验的调试范式。
该论文提出版本化 replay contract 和联合规划器,在 H100 稀疏写入场景下,相比基线将配对步时降低 18.16%(44 GiB 预算)。 规划器根据实测显存和恢复成本,在激活保留、全量快照和选择性保留间做决策,并用独立验证确保一致性。 在 CIFAR-100 稠密队列任务中,该方法比全量快照多占 22.41% 显存,但各 seed 测试结果字节级一致。
NVIDIA 正联合伙伴在全球多地城市部署物理 AI 与智能体服务,基于 GTC Berlin 宣布的举措扩大共享计算基础设施覆盖。 具体案例包括马德里使用 Nemotron 等模型处理市政事务,以及马来西亚 ITMAX 通过 RTX PRO 6000 GPU 支持超过 17,000 个摄像头,并于 2027 年前实现交通管理优化,减少高峰时段通行时间多达 26%。
OceanBase获得2026世界互联网大会杰出贡献奖,该奖项于2024年设立,共15家企业获奖。 其自研的湖库一体AI数据库统一管理多模态数据,构建涵盖DataPilot在内的AI数据平台体系。 2025年海外营收同比增长200%,服务全球4000多家客户,位列亚洲及大洋洲分布式数据库市场第一。
小米技术官方发布视频,Xiaomi-Robotics-1 具身基座模型在小米青年公寓启动试运营。该模型基于 Agent 闭环系统实现连续超 30 分钟、覆盖 3 个房间的 50 余项任务验证,可自主规划并完成桌面整理、垃圾清扫、物品分类归位等任务。Xiaomi-Robotics-1 已于今年 8 月开源,预训练数据规模达 10 万小时。
Hugging Face 发布 Transformers 模型集成契约标准,通过缩小模型尺寸在CPU上进行快速集成测试。该标准在测试中发现 UMT5 存在注意力缺陷,该缺陷导致解码器能关注未来 token,并在主分支存在近两个月。
该电量可供给约 70 万户家庭使用空调。OpenAI 称其全年稳定用电需求可分摊电网固定成本,并将在多地建设“星门”算力园区。 此举旨在应对当地居民对数据中心环境影响的抗议,并配合各州禁止转嫁用电成本的法规。
VeilCC 通过 AI 抗性混淆与逻辑封存技术保护二进制文件,防止攻击者破解、克隆或作弊。其核心机制是将关键函数以密文形式分发,仅在运行时瞬时解密并擦除,静态分析只能获取密文。
作者构建了基于 Markdown 和私有 Git 仓库的共享 AI 记忆系统,所有 AI 通过 Pull Request 读取并更新笔记。 系统通过强制执行的决策日志、自动生成索引及每周清理机制保持准确性,并提供公开模板供用户复用。
AI 编码工具使代码优先内部工具在速度和可维护性上优于低代码平台。Claude Code、Cursor 等工具可分钟级生成应用代码,消除低代码的专有格式锁定和高昂用户定价弊端。 推荐采用 HTMX 等超媒体方案替代传统前端构建,减少依赖项并提升安全性,便于 Git 版本管理与 AI 辅助维护。
Marvell 宣布以约 1150 亿美元全股票交易收购光通信企业 Lumentum,Lumentum 隐含企业价值约 1150 亿美元,较交易传闻出现前股价溢价约 23.9%。交易预计于 2028 年上半年完成,合并后公司可服务市场规模预计扩大至 5500 亿美元,并带来超过 10 亿美元的年度运行成本协同效应。
推荐理由:交易将合并双方在光通信与半导体领域的资产,补齐激光器等关键部件,以应对AI数据中心从铜缆向光互连转型带来的需求。
我们对 Git 操作相当熟悉。很高兴团队终于能公开谈论这件事。特别致敬 @tnm 及其团队。
OpenAI 构建了 Git 兼容后端 Pando。 该后端专为 Codex 所实现的开发规模而设计。
summary_zh: LLM CLI 工具与 Python 库发布 0.37 版本,新增 gpt-6.1-sol 和 gpt-6.1-terra 模型支持,并将默认模型更新为 gpt-6-luna,价格较前代 gpt-5.6-luna 减半。
Trajectory 宣布完成由 Sequoia 领投的 4500 万美元 A 轮融资,估值 3 亿美元。 该公司通过持续学习自动化后训练流程,让非技术人员利用反馈改进开源模型,客户包括 Harvey、Rogo 和 Nvidia。
Greg 和 Corentin 基于 2026 年 8-9 月对 30 位招募及工程负责人的访谈发布报告,揭示 AI 对招聘流程的影响。 报告发现远程岗位申请中欺诈占比达 25% 至 80%,且 Agentic sourcing 在无人干预两天后会产生噪音。 有效的评估方式已转向系统设计、使用 AI 构建项目及审查 AI 代码,取代了传统的 Leetcode 测试。
Lyngvi 2.0.0 是一款基于 Podman 的加固沙箱,支持在 macOS 和 Linux 上运行自主编码智能体。其采用 MIT 协议,通过隔离网络、隐藏 .git 及凭证网关实现安全边界。 该工具提供桌面应用与 CLI 双入口,每个会话运行于独立容器,网络出口严格受限且文件变更需人工审批分类。