跳到正文
11月10日周二
  1. arXiv · ML23

    Mosaic 通过全局内存规划为扩散 LLM 解锁超 30 倍上下文长度

    Mosaic 提出内存高效推理系统,将扩散 LLM 最大推理序列长度在相同硬件上提升 15.30-32.34 倍,内存峰值与平均值比率降低 2.71 倍。 系统整合 mask-only logits 内核、延迟分块优化器及全局内存管理器,实现无训练且保留精确模型输出,端到端延迟降低 2.5%-55.4%。 该研究发表于 ICML 2026,代码已公开。

  2. arXiv · AI28

    OrigaMI: 集成可解释性应用的 LLM 服务系统

    OrigaMI 将机制可解释性应用作为 LLM 服务系统的一级组件,实现简化开发、高效执行与灵活部署。 其通过 Python DSL 简化访问模型内部状态,利用 FlashInspect 内核高效获取注意力分数,并支持运行时动态激活。 OrigaMI 执行开销比现有框架低两个数量级,动态激活速度提升 1000 倍,使可解释性应用在生产环境部署成为可能。

  3. arXiv · ML20

    Runway 监管行业 LLM 推理验证治理决策管道

    MasterControl 内部工具 Runway 围绕 NVIDIA AIPerf 构建治理决策管道,用于满足 LLM 部署的合规与法律义务。 Runway 架构实现缓存与审计机制统一,确保实验前设计与决策后合规的可追溯性。 三项测试发现:TensorRT-LLM 与 vLLM 排名随并发量反转,高价 GPU 可能具备更低单请求成本,且引擎配置优于引擎选择。

  4. arXiv · ML24

    OOM:通过内存-执行协同设计实现全参数 MoE 训练离载优化

    OOM 系统通过协同设计专家执行与内存分配,实现全参数 MoE 模型在单节点上的高效离载训练。 在 4 张 H100 上支持 1M token 上下文训练 122B 参数模型,而 FSDP2 等系统在 512K token 时即耗尽显存。 相比 CPU 离载 FSDP2,OOM 吞吐量提升 1.58 至 4.08 倍,且主机内存占用最少仅为 FSDP2 的 1/3。

  5. arXiv · ML30

    FRESCO:一种用于异步流水线并行训练的一致性控制方法

    FRESCO通过约束优化解决异步流水线训练中的梯度不一致问题,旨在以最小更新修改维持前向等价性。 在LLM预训练中,FRESCO优于代表性基线;流水线深度达32时,比最强基线少43%迭代次数和30%实际耗时,且内存开销减少8至921倍。 该工作为高利用率流水线并行训练奠定了基础,为资源受限系统上的大规模模型开发提供可扩展路径。

  6. arXiv · AI21

    AutoQS:利用大语言模型设计自动化量化策略

    提出 AutoQS 方法,利用 LLM 自动化设计量化策略,在固定权重精度下搜索各层及算子的 group-size 分配。 通过低开销代理评估筛选候选方案,并保留备用分配以指导后续 LLM 提议,周期性进行实际量化以获取质量反馈。 在 Qwen2.5-7B-Instruct 上,AutoQS 使 7 项任务平均准确率比 GPTQ 和 AWQ 分别提升 0.70 和 1.12 个百分点。

  7. arXiv · AI29

    PISA 与 PISA-E:提示词自适应且成本感知的大语言模型集成路由方法

    PISA-E 在四个 LLM 路由基准测试中,以最高宏平均任务性能表现优于最强集成竞争对手,ID 条件下领先 2.09 个百分点,OOD 条件下领先 2.87 个百分点。 该方法通过联合选择集成组合与基数,在无需重训练的情况下动态调整成本与质量偏好,显著降低推理开销。 在部分低成本运行点,PISA-E 相比最强竞争对手,平均推理成本降低约 36% 和 25%。

  8. arXiv · NLP20

    边际效用、矩阵分解与 KV 缓存:一个用于主权地理挖掘推理的统一信息经济学框架

    建立联系边际效用、矩阵分解与 Transformer 语言模型 Key-Value 缓存的理论框架,在地理挖掘文档信息提取中,11.2M 参数分类器实现 90% 一级准确率。 该框架通过统一分配规则优化内存预算下的缓存管理,支持分层 TIES 模型合并与 LoRA 微调,诊断出均匀密度合并导致的退化解,需校准密度消除。

  9. arXiv · NLP25

    二阶线性响应预测量化误差的可靠性:基于五个大语言模型的预注册测量

    研究在五个模型上验证,二阶线性响应在16倍扰动范围内相对预测准确,但绝对预测呈重尾分布。Qwen3-4B等模型经修正后92%的预测误差在15%以内,而MoE模型在小扰动下呈现非二次响应,int8 KL散度以$\alpha^{0.63}$缩放。bf16梯度计算导致的四倍误差通过反向传播使用fp32消除,0.17-0.22 nats的归约误差下限限制了批量不变内核的精度。

  10. arXiv · NLP40

    BridgeKV:通过 KV 缓存转换实现 LLM 推理的大模型预填充与小模型解码

    BridgeKV 提出用大模型进行预填充、小模型进行解码的 LLM 推理方案,通过轻量级 KV-stitching 模块对齐两者缓存。 在六个模型对和五个数据集的 30 种设置中,该方法优于微调小模型基线,弥补至多 80% 的质量差距;Llama-3.1-Instruct-8B 到 Llama-3.2-Instruct-1B 在单卡上实现 3.0 倍加速。

  11. arXiv · NLP38

    Hibana:统一内存设备上的快速智能体推理引擎

    Hibana 是针对统一内存设备设计的推理引擎,通过模型手术、统一内存管理和自适应推测解码协同优化,支持本地多智能体负载。 在单台 DGX Spark 上运行 125B 参数的 Qwen 和 Nemotron 模型时,Hibana 每小时可完成比 vLLM、NVIDIA Flare、TensorFold 等框架多 3.4 倍的智能体任务,解码吞吐量提升高达 3.9 倍。代码已开源。

  12. 美团技术团队80

    美团正式开源 1.6 万亿参数 LongCat-2.5:多模态模型在国产算力上实现高效推理

    美团正式以 MIT 协议开源 LongCat-2.5,该原生多模态模型总参数 1.6 万亿、每个 token 激活约 480 亿参数并支持一百万上下文,面向长程智能体任务在代码开发、Visual Coding 与专业办公场景中端到端交付能力明显提升。

    推荐理由:原文详细披露了1.6万亿参数多模态模型在国产算力下的W4A4量化策略与训练细节,展示了在显存受限场景下落地万亿模型的具体工程路径。

  13. Tibo (X)66

    Dots 新增控制多台机器的功能

    Dots 现可控制除默认云电脑外的多台机器。作者指出,用户可将多台本地电脑连接到同一个 Dots 实例,并针对具体任务选择使用哪一台机器。例如,Dots 可以在专用机器上构建和测试应用程序,同时用户可以在自己的笔记本电脑上继续编写代码。

    推荐理由:展示了 Dots 在本地多机与云端之间的任务分发能力,为构建跨设备工作流提供了新的切入点。

  14. AWS Machine Learning Blog41

    Amazon Bedrock Managed Knowledge Base 支持单次与智能体检索模式

    Amazon Bedrock Managed Knowledge Base 新增支持单次 RAG 和仅检索请求,通过 AgenticRetrieveStream 接口实现。 该服务扩展 maxAgentIteration 参数范围至 0-5,支持单次检索生成答案或仅返回原文,无需复杂智能体规划。 单一 API 即可平衡速度与质量,简化应用开发,无需维护分离代码路径。

  15. AWS Machine Learning Blog56

    CrossnoKaye 如何使用 Amazon Bedrock AgentCore 支持物理AI

    CrossnoKaye 的 ATLAS 和 AURA 系统通过整合 AWS 的 Amazon Bedrock 和 AgentCore 架构,利用软件定义自动化平台连接工厂数据与 AI 推理。AURA 使用独立 Python 沙箱确保计算的可验证性,在多个工业设施中显著提升了生产效率并降低了能源成本,同时通过多层次的安全机制保障工业安全。

11月9日周一
  1. Hugging Face Blog38

    HOPE:面向 MoE 语言模型的高阶专家剪枝方法

    Hugging Face 提出 HOPE 方法,通过计算专家间高阶交互实现 MoE 模型的精准剪枝。 作为二阶方法,HOPE 在 50% 剪枝率下表现最优,相比次优方法在 agentic coding 任务上提升最高达 6.1%。 该方法无需训练且兼容量化,能有效解决传统一阶剪枝忽视专家协同集群导致的性能衰减问题。