可微分位宽:通过 SVD 协同优化剪枝与量化,实现超高效 LLM 压缩
研究提出一种可微分位宽方法,在统一框架内协同优化基于 SVD 的剪枝与量化,为每个分量学习位宽,并将不重要分量以 0-bit 剪除。该 LLM 压缩方法在 1.61 bits 极端量化设置下优于两阶段基线,代码已公开,论文已被 NeurIPS 2026 接收。
研究提出一种可微分位宽方法,在统一框架内协同优化基于 SVD 的剪枝与量化,为每个分量学习位宽,并将不重要分量以 0-bit 剪除。该 LLM 压缩方法在 1.61 bits 极端量化设置下优于两阶段基线,代码已公开,论文已被 NeurIPS 2026 接收。
Nexus 是一个把每次调用视为持久任务的云边平台,用基于 OpenWrt 的运行时做分布式服务,通过运行域委派控制对 Computer 和 Mobile 环境的授权访问。
提出SAGA非对称组查询注意力与Atop-N近似稀疏注意力,解耦键值头数量。 在1.5B参数模型上,长上下文端到端解码速度较GQA基线提升超2倍,质量接近同等GQA模型。 提供高效微调方法将预训练模型转换为SAGA架构,无需昂贵重训练,已发表于NeurIPS 2026。
WAMJET 是一个加速世界动作模型(WAM)推理的智能体框架,实现最高 9.95 倍无损加速。 该框架结合编码智能体与优化指导工具,在六个 WAM、三种智能体及两种 GPU 架构下验证了有效性与低延迟。
RealtimeWAM 通过单步动作生成和异步推理实现高效 WAM,支持 LIBERO 和 RoboTwin 等基准测试。 其性能无损下降低于 1%,端到端速度提升约 25 倍,在 H100 显卡上表现突出。 代码和模型检查点已开源提供。
论文提出 SpecFold 算法,通过识别并折叠多分支投机解码中的计算冗余,降低扩散语言模型(DLLM)的推理成本。 该算法结合算法-系统协同设计,采用 Triton 内核实现高效稀疏执行,与现有投机策略兼容。 在五个模型上,SpecFold 吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍。
AID 框架定义 AI 推理基础设施学习问题,支持可变状态、异步观察及多物理时间尺度,并区分预测表征与控制状态缩减表征。 通过两项分析结果给出预测误差下界及精确控制状态缩减的充分条件,将信息原理应用于 AI 基础设施。
Loopy 提出了一种循环深度感知的后训练量化(PTQ)框架,通过渐进式分配校准窗口来高效选择共享低位表示。 该框架结合通道缩放和正交旋转参数化候选表示,并基于目标部署深度的最终预测损失进行选择。 在 8 种设置中,Loopy 取得了 SOTA 结果;在 Ouro-1.4B 的 W4A4 量化下,其 LAMBADA 困惑度比 SpinQuant 降低 36.5%。
一项部署在主要短视频平台的实时封面优化系统,利用多臂老虎机框架动态替代未人工选图的视频默认封面。 该系统结合基于深度视觉质量模型的先验知识初始化探索,在十亿级(O(B))规模下实现了低延迟服务。 全球部署显示,该方案显著提升了核心用户发现与参与度指标。
SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。
研究提出 KVE-KD 框架,通过教师模型动态聚焦任务相关视觉 token,解决静态 token 选择混淆关键线索与背景噪声的问题。该方法以预生成文本 token 为语义锚点,通过迭代移除视觉 token 贡献定位跨模态融合层,并利用归一化熵筛选关键视觉证据。实验显示 KVE-KD 在六个基准上超越 SOTA 方法,在复杂推理任务上提升显著,且不增加推理时延。
mainbrella 推出开源 GPL 3.0 的 AI 代码与 Agent 运行环境,提供类似 e2b.dev 的沙箱服务,基础版定价每月 5 美元。 单测中沙箱启动至可用 shell 仅需 381 毫秒,并发 100 个沙箱启动平均耗时 680 毫秒,成功率为 100%。
文章指出在AI智能体编写大部分代码的背景下,设计系统可转化为AI转向层,通过上下文维持品牌与代码规范统一。文中展示了使用AGENTS.md和Figma MCP连接,将设计规范和组件直接同步给智能体的实际案例。
LG 电子与 AIR Control Concepts 达成超 5GW 规模 AI 数据中心的冷水机组长期供应协议。该设备结合离心风冷结构与制冷剂自然冷却技术,利用室外冷空气降低冷却负荷,LG 内部模拟显示该技术每年可比水冷技术节能约 30%。
OpenAI 宣布对 GPT-6 Astra 和 GPT-6.1 Sol 的默认生成速度进行优化,吞吐量从每秒 30 token 提升至 50 token。同日,OpenAI 发布了 textGrain 文字水印方案以响应欧盟规定,并推出了基于图片展示的新广告形式。
SemiAnalysis实测发现,在中档模型订阅档位上,Anthropic订阅的API等价价值约为OpenAI的5倍。OpenAI上周已将200美元套餐额度砍半,新推出的500美元档位额度仅比旧版200美元套餐多21%。尽管OpenAI官方同步宣布GPT-6 Astra和GPT-6.1 Sol提速50%,第三方数据仍证实用户实际可用额度大幅缩水。
推荐理由:SemiAnalysis实测显示中档订阅价值OpenAI约为Claude一半,揭示行业通过额度调整平衡算力成本与用户留存的新博弈。
Z.ai 的 753B 参数混合专家模型 GLM 5.3 现已通过 Amazon Bedrock 全托管 API 开放,支持跨区域推理、prompt caching 和服务分层。
Windows WSL 容器功能正式向公众推出(GA),用户通过运行 wsl --update 即可使用新工具。该功能提供 wslc.exe 命令行界面和 API,支持在 Windows 上直接构建、运行和部署 Linux 容器,并新增网络管理、可观测性及与企业安全工具集成的能力。
Amazon SageMaker AI 推出 aws-ai-ml 技能,通过 Agent Toolkit 支持编码代理进行推理优化。该技能兼容 Kiro、Claude Code 和 Codex,能生成可执行的 SageMaker Python SDK v3 代码。用户只需描述意图,代理即可自动完成端点基准测试、推荐部署配置及比较性能表现。
Claude Opus 5.5 和 Claude Sonnet 5.5 登陆 AWS GovCloud (US),为 ITAR 等合规场景提供 AI 辅助开发通道。
LLM 推理旨在平衡硬件成本、低延迟与模型质量,适用于自建开源模型基础设施。以 Llama3.1 8B 为例,采用 Transformer 架构与 GQA,FP16 精度下模型权重需 16GB 显存。
Amazon Bedrock AgentCore Evaluations 提供完全托管能力,通过内置与自定义评估器量化多智能体系统的准确性、任务成功率及可解释性。 方案结合 Amazon Bedrock Guardrails 在执行期强制安全约束,支持按需开发与在线生产监控模式,实现从响应质量到业务逻辑的有效验证。
AWS 分享了自动化 Amazon Quick 企业级跨账户资源迁移的方案。方案基于 Amazon Bedrock AgentCore 构建幂等且可审计的 MCP 服务器,通过调用 Amazon Quick API 将 chat agents、action connectors、knowledge bases 和 spaces 从开发账户完整迁移至生产环境。
开源命令行工具 RemoveMacAI 能关闭 Apple Intelligence 功能、删除占用约 12GB 空间的模型,并阻止其再次下载。 macOS 27 移除旧版单一设置开关后,用户需手动调整十余项设置且模型仍留存磁盘;该工具可一键完成操作,且变更在系统更新后依然有效,Dictation 功能不受影响,支持通过 revert 命令恢复设置。
Minigraf 2.0.2 是一个单文件嵌入式双时态图数据库,支持 Datalog 查询与时间回溯,无需安装即可在浏览器中通过 WASM 试用。 该数据库支持递归规则、窗口函数及预编译语句,提供 Rust、Python 及移动端绑定,基于 Rust 1.89 编译。 其设计旨在为 AI 智能体提供嵌入式图记忆,填补了 Datalog 图数据库在嵌入与双时态支持上的空白。
IronBee Express 使用 TypeSafe 的分类器 Jev 构建浏览器智能体,单步决策耗时约 300 ms,完整结账任务成本约 0.00054 美元。该系统通过并行提问减少交互延迟,并让 Jev 基于页面证据直接判定任务成功或失败,无需人工编写断言。当 Jev 无法处理复杂卡点时,系统自动调用 LLM 介入,在 130 次自动回放测试中实现了 100% 的正确恢复率。
Page-EntroKV 提出了一种在分组查询注意力(GQA)物理粒度下运行的大语言模型 KV-Cache 驱逐框架。该方法通过隔离熵加权消除汇聚头干扰,在 Qwen2.5-1.5B-Instruct 模型上将并集开销比(UOR)稳定在 1.000,并在 20% 预算下实现 100% 的关键信息召回。
SlimKV 提出一种联合 Token-特征 KV 缓存压缩方法,通过低秩感知训练将长上下文压缩为隐式 KV 表示,并利用位置不对称性实现解码时潜在空间注意力。
研究提出前缀证书保留(PCR)方法,解决前缀缓存服务中独立优化缓存块导致的高估问题。PCR将可用的前缀奖励建模为节点,通过最大权闭包转化为单次最小割问题,其图规模与块查找数和超时选择数呈线性关系。在39,632个公开Mooncake请求的时间重放测试中,有序超时在120个固定网格的分组定价案例中,有118个达到了无限制训练的最优值。
SpAx 利用激活稀疏性与权重近似技术加速大语言模型离线解码。该方法在权重卸载至 CPU 内存时,16 位权重平均提速 3.86 倍,4 位权重平均提速 2.06 倍,WikiText-2 困惑度增加不超过 10%。在闪存存储场景下,16 位权重平均提速 3.31 倍,4 位权重平均提速 1.54 倍。
MaskCoFT 通过掩码协同自适应微调,使 MoE 模型的路由器与专家参数共同适应路由变化,提升内存受限下的推理效率。
FastKernels 基准测试包含 384 个任务,足以重新实现 94.6% 的 HuggingFace Transformers 架构。在评估 5 个代表性 Agent 时,发现 1.6-6.6 倍的 Kernel 级加速在端到端测试中缩减至最高 1.25 倍,且仅 20% 的优胜 Kernel 集合能直接正确运行。
该研究提出 Dynamic Expert Pruning (DEP) 方法,利用智能体系统提示词和任务提示词通过轻量级预测器生成每请求的专家掩码,取代静态剪枝方案。
该框架将 MoE 专家权重压缩为硬件原生低精度稀疏表示,支持 30B 至 1 万亿参数模型。相比最先进联合稀疏量化方法,精度提升最高 4.35 个百分点,保留 96.09% 原始性能。在 NVIDIA B200 上,吞吐量提升 1.18 倍,端到端延迟降低最高 4.03 倍。
提出 Matryoshka Residual Vector Quantization (MRVQ) 后验残差量化器,单一常驻索引支持维度与比特率弹性向量搜索。在 FiQA 等数据集上,MRVQ 比单独训练的 QINCo2 索引节省 17.8-22.0 倍内存,且内存占用低于 PQ 等基线。MRVQ 是弹性检索的低内存操作点,并非通用质量优胜者。
研究通过智能体混合(Mixture-of-Agents)方法测量了生成单个 token 所需的充足计算量。实验显示,在 0.5B 规模下可复现 92-95% 的参考 token,最昂贵的 10% token 占预估 FLOPs 的 64-80%。利用该地图优化模型路由可将 MATH-500 问题的预计延迟从 7.59 秒降至 5.12 秒,并使草稿 token 使用量减少 32.6%。
RemoveMacAI 是一款针对 Apple Silicon 用户的工具,用于关闭 macOS 27 中的 Apple Intelligence 功能并删除已下载的模型,防止系统重新下载以释放磁盘空间。 该工具通过配置配置文件强制应用 Apple 的限制键来终止 Siri、写作工具、Genmoji 及 Xcode 代码补全等功能,支持 `removemacai revert` 命令恢复所有更改。
JetBrains 团队构建了名为 Air Context 的 RAG 管线,旨在为 LLM 智能体提供来自真实代码仓库的精确且可引用的证据,取代传统的 grep 关键词搜索。该管线通过解析、分块和向量化处理,解决了固定大小分块导致的语义错误问题,使智能体能够基于代码语义而非特定文本进行高效检索。
NLC 项目允许 LLM 直接生成可执行文件的二进制字节,跳过源码语言、编译器、汇编器和链接器。作者使用 bash 脚本和 claude-sonnet-5-5 构建测试闭环,成功生成 165 字节的 hello world、439 字节的 HTTP 服务器以及 8 KB 的可玩 Tetris(基于 X11 且无 libc 依赖)。
英伟达与鸿海首次展示利用机器人自动化组装 GB300 母线及连接器的成果。Busbar 组装成功率超过 95%,多连接器插接成功率约 90% 至 95%。Busbar 组装耗时目标 124 秒以内,4 组连接器插接目标 72 秒以内,整体生产周期不超过熟练人工两倍时间。