跳到正文
11月10日周二
  1. IT之家21

    希捷推出 FireCuda Forge 混合存储设备:可在机械硬盘和 SSD 间自动迁移数据,699 美元起

    希捷发布 FireCuda Forge 外置存储设备,基于 Alkemi 平台利用机器学习在机械硬盘与 SSD 间自动迁移高频数据。 提供 8TB 和 20TB 机械硬盘版本,售价 699 美元和 899 美元,最高读取速度 2500MB/s。 设备未附带 NVMe SSD,需用户自行购买搭配,支持 Windows 11 或 macOS 26。

  2. Hacker News AI77

    Epoch AI 发布推理性能指数:内存与通信主导的 AI 硬件对比

    Epoch AI 推出 Inference Performance Index(IPI),以 NVIDIA GB300 为基准(GB300e)量化不同芯片在智能体推理负载下的并发服务能力。

    推荐理由:该研究指出单纯使用FLOP/s会严重低估推理性能,并推出IPI指数将内存与通信纳入考量,让读者能直观对比不同芯片在智能体负载下的真实服务容量。

  3. arXiv · ML41

    LLM前缀缓存淘汰策略重探:复杂算法失效与LRU的稳健性

    针对LLM前缀缓存,分析显示简单的最近最少使用(LRU)算法表现稳健,可媲美复杂策略。 研究基于200亿token生产轨迹,评估了14种淘汰算法,发现会话节奏主导前缀复用,使近期性成为强预测因子。 研究确立了结合快速降级与计算感知淘汰的设计原则,相关模拟器与数据已公开。

  4. arXiv · AI38

    LLM 服务框架实证研究:框架、优化算法及实际应用分析

    一项针对开源系统的大规模实证研究分析了五个主流 LLM 服务框架的实际采用情况。 研究发现 vLLM 在流行度和采用率上最高,并行计算、内存管理和网络剪枝是最常用的方法类别。由于缺乏多框架组合使用的普遍性,开发者通常依赖单一框架,但结合框架可补充服务堆栈中的互补能力。 该研究为研究人员、维护者及从业者提供了 LLM 系统采用的实证参考。

  5. arXiv · ML21

    ICML 2026 论文:面向稳定低精度训练的注意力 Logits 秩感知谱界

    研究人员提出秩感知谱界方法,为 Transformer 注意力低精度训练提供溢出保护,在 Llama-2-70B 等模型上消除 FP8 溢出且 MMLU 准确率持平。 该方法基于交互矩阵谱范数计算每层缩放因子,结合隐式幂迭代和融合注意力内核,相比无秩感知界收敛更紧密。 论文已被 ICML 2026 接收,代码已公开。

  6. arXiv · ML23

    Mosaic 通过全局内存规划为扩散 LLM 解锁超 30 倍上下文长度

    Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。

  7. arXiv · AI28

    OrigaMI: 集成可解释性应用的 LLM 服务系统

    OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。

  8. arXiv · ML20

    Runway 监管行业 LLM 推理验证治理决策管道

    MasterControl 内部工具 Runway 围绕 NVIDIA AIPerf 构建治理决策管道,用于满足 LLM 部署的合规与法律义务。 Runway 架构实现缓存与审计机制统一,确保实验前设计与决策后合规的可追溯性。 三项测试发现:TensorRT-LLM 与 vLLM 排名随并发量反转,高价 GPU 可能具备更低单请求成本,且引擎配置优于引擎选择。

  9. arXiv · ML24

    OOM:通过内存-执行协同设计实现全参数 MoE 训练离载优化

    OOM 系统通过协同设计专家执行与内存分配,实现全参数 MoE 模型在单节点上的高效离载训练。 在 4 张 H100 上支持 1M token 上下文训练 122B 参数模型,而 FSDP2 等系统在 512K token 时即耗尽显存。 相比 CPU 离载 FSDP2,OOM 吞吐量提升 1.58 至 4.08 倍,且主机内存占用最少仅为 FSDP2 的 1/3。

  10. arXiv · ML30

    FRESCO:一种用于异步流水线并行训练的一致性控制方法

    FRESCO通过约束优化解决异步流水线训练中的梯度不一致问题,旨在以最小更新修改维持前向等价性。 在LLM预训练中,FRESCO优于代表性基线;流水线深度达32时,比最强基线少43%迭代次数和30%实际耗时,且内存开销减少8至921倍。 该工作为高利用率流水线并行训练奠定了基础,为资源受限系统上的大规模模型开发提供可扩展路径。

  11. arXiv · AI21

    AutoQS:利用大语言模型设计自动化量化策略

    提出 AutoQS 方法,利用 LLM 自动化设计量化策略,在固定权重精度下搜索各层及算子的 group-size 分配。 通过低开销代理评估筛选候选方案,并保留备用分配以指导后续 LLM 提议,周期性进行实际量化以获取质量反馈。 在 Qwen2.5-7B-Instruct 上,AutoQS 使 7 项任务平均准确率比 GPTQ 和 AWQ 分别提升 0.70 和 1.12 个百分点。

  12. arXiv · AI29

    PISA 与 PISA-E:提示词自适应且成本感知的大语言模型集成路由方法

    PISA-E 在四个 LLM 路由基准测试中,以最高宏平均任务性能表现优于最强集成竞争对手,ID 条件下领先 2.09 个百分点,OOD 条件下领先 2.87 个百分点。 该方法通过联合选择集成组合与基数,在无需重训练的情况下动态调整成本与质量偏好,显著降低推理开销。 在部分低成本运行点,PISA-E 相比最强竞争对手,平均推理成本降低约 36% 和 25%。

  13. arXiv · NLP20

    边际效用、矩阵分解与 KV 缓存:一个用于主权地理挖掘推理的统一信息经济学框架

    建立联系边际效用、矩阵分解与 Transformer 语言模型 Key-Value 缓存的理论框架,在地理挖掘文档信息提取中,11.2M 参数分类器实现 90% 一级准确率。 该框架通过统一分配规则优化内存预算下的缓存管理,支持分层 TIES 模型合并与 LoRA 微调,诊断出均匀密度合并导致的退化解,需校准密度消除。

  14. arXiv · NLP25

    二阶线性响应预测量化误差的可靠性:基于五个大语言模型的预注册测量

    研究在五个模型上验证,二阶线性响应在16倍扰动范围内相对预测准确,但绝对预测呈重尾分布。Qwen3-4B等模型经修正后92%的预测误差在15%以内,而MoE模型在小扰动下呈现非二次响应,int8 KL散度以$\alpha^{0.63}$缩放。bf16梯度计算导致的四倍误差通过反向传播使用fp32消除,0.17-0.22 nats的归约误差下限限制了批量不变内核的精度。