跳到正文
10月6日周二
  1. arXiv · ML25

    SpecFold:折叠多分支冗余以加速扩散语言模型的投机解码

    论文提出 SpecFold 算法,通过识别并折叠多分支投机解码中的计算冗余,降低扩散语言模型(DLLM)的推理成本。 该算法结合算法-系统协同设计,采用 Triton 内核实现高效稀疏执行,与现有投机策略兼容。 在五个模型上,SpecFold 吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍。

  2. arXiv · ML31

    AID:AI 基础设施动力学框架

    AID 框架定义 AI 推理基础设施学习问题,支持可变状态、异步观察及多物理时间尺度,并区分预测表征与控制状态缩减表征。 通过两项分析结果给出预测误差下界及精确控制状态缩减的充分条件,将信息原理应用于 AI 基础设施。

  3. arXiv · ML25

    Loopy:针对循环语言模型的低位量化框架

    Loopy 提出了一种循环深度感知的后训练量化(PTQ)框架,通过渐进式分配校准窗口来高效选择共享低位表示。 该框架结合通道缩放和正交旋转参数化候选表示,并基于目标部署深度的最终预测损失进行选择。 在 8 种设置中,Loopy 取得了 SOTA 结果;在 Ouro-1.4B 的 W4A4 量化下,其 LAMBADA 困惑度比 SpinQuant 降低 36.5%。

  4. arXiv · ML26

    十亿级短视频封面优化:基于多臂老虎机框架的自动化解决方案

    一项部署在主要短视频平台的实时封面优化系统,利用多臂老虎机框架动态替代未人工选图的视频默认封面。 该系统结合基于深度视觉质量模型的先验知识初始化探索,在十亿级(O(B))规模下实现了低延迟服务。 全球部署显示,该方案显著提升了核心用户发现与参与度指标。

  5. arXiv · ML34

    SNACK 实现 GPU 上真正稀疏神经网络

    SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。

  6. arXiv · ML35

    KVE-KD:面向视觉语言模型的关键视觉证据引导知识蒸馏

    研究提出 KVE-KD 框架,通过教师模型动态聚焦任务相关视觉 token,解决静态 token 选择混淆关键线索与背景噪声的问题。该方法以预生成文本 token 为语义锚点,通过迭代移除视觉 token 贡献定位跨模态融合层,并利用归一化熵筛选关键视觉证据。实验显示 KVE-KD 在六个基准上超越 SOTA 方法,在复杂推理任务上提升显著,且不增加推理时延。

  7. 机器之心82

    SemiAnalysis实测OpenAI订阅价值仅为Claude的1/5

    SemiAnalysis实测发现,在中档模型订阅档位上,Anthropic订阅的API等价价值约为OpenAI的5倍。OpenAI上周已将200美元套餐额度砍半,新推出的500美元档位额度仅比旧版200美元套餐多21%。尽管OpenAI官方同步宣布GPT-6 Astra和GPT-6.1 Sol提速50%,第三方数据仍证实用户实际可用额度大幅缩水。

    推荐理由:SemiAnalysis实测显示中档订阅价值OpenAI约为Claude一半,揭示行业通过额度调整平衡算力成本与用户留存的新博弈。

  8. Hacker News AI55

    Windows WSL 容器功能正式发布

    Windows WSL 容器功能正式向公众推出(GA),用户通过运行 wsl --update 即可使用新工具。该功能提供 wslc.exe 命令行界面和 API,支持在 Windows 上直接构建、运行和部署 Linux 容器,并新增网络管理、可观测性及与企业安全工具集成的能力。

  9. AWS Machine Learning Blog38

    使用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与实用性

    Amazon Bedrock AgentCore Evaluations 提供完全托管能力,通过内置与自定义评估器量化多智能体系统的准确性、任务成功率及可解释性。 方案结合 Amazon Bedrock Guardrails 在执行期强制安全约束,支持按需开发与在线生产监控模式,实现从响应质量到业务逻辑的有效验证。

10月5日周一
  1. The Verge · AI46

    开源工具 RemoveMacAI 可删除 macOS 上 12GB 的 Apple Intelligence 数据

    开源命令行工具 RemoveMacAI 能关闭 Apple Intelligence 功能、删除占用约 12GB 空间的模型,并阻止其再次下载。 macOS 27 移除旧版单一设置开关后,用户需手动调整十余项设置且模型仍留存磁盘;该工具可一键完成操作,且变更在系统更新后依然有效,Dictation 功能不受影响,支持通过 revert 命令恢复设置。

  2. Hacker News AI42

    Minigraf:嵌入式双时态图数据库在 Rust 生态发布

    Minigraf 2.0.2 是一个单文件嵌入式双时态图数据库,支持 Datalog 查询与时间回溯,无需安装即可在浏览器中通过 WASM 试用。 该数据库支持递归规则、窗口函数及预编译语句,提供 Rust、Python 及移动端绑定,基于 Rust 1.89 编译。 其设计旨在为 AI 智能体提供嵌入式图记忆,填补了 Datalog 图数据库在嵌入与双时态支持上的空白。

  3. Hacker News LLM57

    IronBee Express 基于分类器 Jev 构建浏览器智能体实现低成本高速操作

    IronBee Express 使用 TypeSafe 的分类器 Jev 构建浏览器智能体,单步决策耗时约 300 ms,完整结账任务成本约 0.00054 美元。该系统通过并行提问减少交互延迟,并让 Jev 基于页面证据直接判定任务成功或失败,无需人工编写断言。当 Jev 无法处理复杂卡点时,系统自动调用 LLM 介入,在 130 次自动回放测试中实现了 100% 的正确恢复率。

  4. arXiv · ML36

    前缀缓存语言模型服务中精确的内存-时间优化:PCR方法

    研究提出前缀证书保留(PCR)方法,解决前缀缓存服务中独立优化缓存块导致的高估问题。PCR将可用的前缀奖励建模为节点,通过最大权闭包转化为单次最小割问题,其图规模与块查找数和超时选择数呈线性关系。在39,632个公开Mooncake请求的时间重放测试中,有序超时在120个固定网格的分组定价案例中,有118个达到了无限制训练的最优值。

  5. arXiv · ML23

    SpAx 通过权重近似提升 LLM 离线解码速度

    SpAx 利用激活稀疏性与权重近似技术加速大语言模型离线解码。该方法在权重卸载至 CPU 内存时,16 位权重平均提速 3.86 倍,4 位权重平均提速 2.06 倍,WikiText-2 困惑度增加不超过 10%。在闪存存储场景下,16 位权重平均提速 3.31 倍,4 位权重平均提速 1.54 倍。

  6. arXiv · AI36

    基于智能体混合度量的每 token 充足计算测量研究

    研究通过智能体混合(Mixture-of-Agents)方法测量了生成单个 token 所需的充足计算量。实验显示,在 0.5B 规模下可复现 92-95% 的参考 token,最昂贵的 10% token 占预估 FLOPs 的 64-80%。利用该地图优化模型路由可将 MATH-500 问题的预计延迟从 7.59 秒降至 5.12 秒,并使草稿 token 使用量减少 32.6%。

  7. Hacker News AI32

    RemoveMacAI 移除 macOS 27 中的 Apple Intelligence 模型并释放磁盘空间

    RemoveMacAI 是一款针对 Apple Silicon 用户的工具,用于关闭 macOS 27 中的 Apple Intelligence 功能并删除已下载的模型,防止系统重新下载以释放磁盘空间。 该工具通过配置配置文件强制应用 Apple 的限制键来终止 Siri、写作工具、Genmoji 及 Xcode 代码补全等功能,支持 `removemacai revert` 命令恢复所有更改。

  8. Hacker News AI36

    构建用于语义代码搜索的 RAG 管线:Air Context 开发手记

    JetBrains 团队构建了名为 Air Context 的 RAG 管线,旨在为 LLM 智能体提供来自真实代码仓库的精确且可引用的证据,取代传统的 grep 关键词搜索。该管线通过解析、分块和向量化处理,解决了固定大小分块导致的语义错误问题,使智能体能够基于代码语义而非特定文本进行高效检索。

10月4日周日