跳到正文
10月27日周二
  1. arXiv · NLP31

    Prefix Sharing Is a Sorting Problem 证明 LLM 服务中前缀共享等同于排序问题

    该研究证明 LLM 服务中的前缀共享优化在数学上等同于在请求上构建二进制层次结构,打破了传统固定顺序的假设。 作者提出 O(3^m) 精确算法,指出聚类算法可实现 1/2-近似最优节省,并识别出两部件情况对应最小点覆盖。 在 BM25 检索迹线上,新布局使 prefill 减少 17-36%,且层级 DFS 排序可精确达到无限缓存最优性能。

  2. arXiv · NLP27

    研究揭示 KV 缓存压缩下的“答案-证据鸿沟”:准确率保持不等于推理忠实性

    针对大推理模型,研究指出 KV 缓存压缩下最终答案准确率与推理忠实度可能出现脱节。 该“答案-证据鸿沟”在 10 种 token 驱逐方法中显著存在,这些方法能维持答案准确率但大幅削弱证据链支持。 相比之下,一种保持覆盖率的量化方法受影响较小,表明故障源于对推理轨迹部分的访问缺失而非单纯的 KV 内存缩减。

  3. arXiv · NLP33

    SpecBuild 利用投机分叉并行探索,提升 LLM 仓库环境搭建效率与成功率

    LLM 智能体系统 SpecBuild 通过“投机分叉”在策略与命令层面并行探索,解决了传统串行试错导致的等待浪费问题。 在多仓库评测集 Multi-Docker-Eval 上,SpecBuild 相比最强基线将成功率提升了 6.4 至 12.0 个百分点,同时平均搭建时间缩短了 22.4% 至 41.6%。 这证明了基于 LLM 的环境搭建不必在速度与可靠性之间做取舍,并行探索能实现双重优化。

  4. AWS Machine Learning Blog47

    AWS SageMaker SDK v3 边缘端计算机视觉全生命周期管理

    利用 SageMaker SDK v3 构建双分支 Pipeline,实现边缘设备计算机视觉模型的自动训练、评估与部署。 每相机独立训练 Anomaly Detector 与 ResNet18 分类器,经质量门禁后由 Neo 编译为设备优化构件。 支持 $0.07 低成本全流水线运行,通过 Step Functions 限流并发请求,保障生产稳定性。

10月26日周一
  1. arXiv · ML24

    利用边缘计算实现 LLM 训练民主化:挑战、系统与未来之路

    论文提出基于云托管参数服务器和 gRPC 的统一系统架构,支持异构客户端在地理分布式环境中进行 LLM 预训练和微调。 系统在 GPT-2 Medium 和 Llama3-1B 模型上完成了跨多个大学站点的实际实验,验证了其在连接不稳定和硬件异构条件下的稳定收敛能力。 研究还指出了未来需解决的开放问题,包括前沿模型支持、弹性容错、自适应压缩及隐私信任等,以推动分布式 LLM 训练的普及。

  2. arXiv · ML33

    基于22万张胸部X光数据验证临床AI中隐藏亚组差异检测

    在223,228张胸部X光数据的左心室肥大分类任务中,算法发现的亚组表现出0.61至0.90的准确率差距,显著大于传统元数据分析的0.80至0.94。 研究证明这些发现的可解释性,并验证了利用亚组标注缓解模型偏差的可行性。 该方法为增强医疗系统中机器学习模型的性能验证与持续监控提供了实用工具。

  3. arXiv · AI28

    InferSlice: 电信广域网中 SLO 驱动的 LLM 推理参考架构

    BT 联合爱丁堡大学及 NVIDIA 提出 InferSlice 架构,将 SLO 驱动 LLM 推理整合于电信基础设施,支持网络切片与 GPU 分区。 在 JOINER UK 广域网上评估显示,分层服务产生不同延迟吞吐量区间,权重流式传输缩短扩展时间,张量并行仅限单子网跳。 该架构旨在解决集中式云部署的局限性,为分布式 LLM 推理系统研究提供参考。

  4. arXiv · AI29

    MPQ 提出消息传递视角的后训练量化方法

    MPQ 将行级后训练量化(PTQ)视为离散码本的后验推理,利用向量近似消息传递计算块级后验,再结合精确块坐标下降细化硬判决。 该方法在 Llama、Qwen 和 Mistral 系列稠密语言模型上,针对 2-bit 格子和 3-、4-bit 标量量化场景,提升了困惑度和零样本准确率。 代码已公开。

10月24日周六
  1. OpenClaw Releases37

    OpenClaw 2026.9.34 发布

    OpenClaw 2026.9.34 扩展稳定版发布,提供关键安全更新及可靠性、性能修复。 该版本增强了 agent 文件编辑安全性、优化了管理升级流程,并支持新模型。 修复了 Gateway 日志轮询死循环、Buzz 中继断开退出及 OpenRouter 凭据验证等稳定性问题。

10月23日周五
  1. MiniMax 稀宇科技86

    MiniMax M3.1 Flash 开源,72 小时处理 Token 超 100 万亿

    MiniMax 开源了 MiniMax M3.1 Flash 模型权重,总参数 428B、激活参数 23B。上线 72 小时内真实用户处理 Token 超过 100 万亿。该模型通过全模型稀疏注意力、量化感知训练(QAT)和 Power-aware scheduling 提升了推理效率,并与多家国内外芯片厂商及云服务平台、开源社区完成了首日接入。

    推荐理由:M3.1 Flash 上线 72 小时处理 Token 超过 100 万亿,展示了模型的高吞吐与广泛的芯片/云平台生态适配能力。

  2. 阿里云54

    阿里云发布Agent Sandbox,助力阶跃星辰实现3万沙箱分钟级启动

    阿里云宣布其Agent Sandbox与容器服务ACK已率先适配阶跃星辰开源模型Step 5 Preview,帮助其打造训练态“算力工厂”。该方案支持分钟级创建3万个沙箱实例、百万级并发运行,并通过微虚拟机隔离与动态存储扩容(节省约40% EBS成本),将模型评估周期从周级压缩至天级,并兼容E2B API以便业务迁移。

  3. 蚂蚁开源42

    蚂蚁开源轻训营高校行首站落地浙大,专属任务开放认领

    蚂蚁开源轻训营高校行首站于 10 月 20 日在浙江大学举办,现场六位讲师分享 AI 基础设施进展,专属任务同步开放认领。 核心分享包括 AReaL 实现 2.7 倍吞吐提升,以及 VSAG 稀疏向量检索性能超业界同类 4 倍。 活动旨在通过真实项目让学生掌握 AI 工具与开源协作,提升工程能力。

  4. arXiv · AI27

    黄金数据模型驱动制药合规声明生产级生成

    采用黄金数据模型(GDM)重构检索上下文的制药声明生成系统,显著提升了生成内容的合规性与个性化。 该模型包含1867条声明数据,支持4个产品维度。在6个产品受众细分中,预期适应症准确率提升29%,目标受众匹配提升67%,每周API成本降低29.5%。 此方法证明了在高风险监管领域,数据架构重构比扩展提示词规则更具可扩展性。

  5. arXiv · ML29

    部署约束如何反转时序模型选择:能耗与延迟优先

    在蜂窝网络切换预测场景中,仅关注准确度的基准测试会将实际无法部署的模型排为第一。 评估涵盖 8 种架构,基于手工时间特征的梯度提升树最准确(F1=0.974)且成本最低;而精度基准常排第一的 CNN-1D(F1=0.914)在占空比部署模式下每次推理能耗超过前者 3 倍。 该结果揭示仅基于准确度的评估不仅低估部署成本,还会推举不可行的模型。

  6. arXiv · AI21

    AgentDP:面向异构嵌入式 AI 应用的全自动模型部署框架

    AgentDP 利用 LLM 智能体实现异构嵌入式设备上预训练模型的全自动优化与适配,将模型适配时间最多减少 80%,且平均任务准确率比基线提高 13% 以上。 该框架通过用户需求标准化、算子感知的模型分割及超参数配置复用模块,解决 AI 模型与嵌入式设备执行环境不匹配及重复搜索优化参数的问题。 用户研究证明 AgentDP 在适配不同用户需求和异构嵌入式设备时具备良好的通用性。

  7. AWS Machine Learning Blog65

    SageMaker 推出 training session APIs:免管 GPU 自定义 LLM 训练循环

    SageMaker 上线 training session APIs,开发者在本地代码中编写 SFT、RL 等训练循环,SageMaker 负责 GPU 上的 sample、forward_backward、optim_step 等算力操作。

    推荐理由:SageMaker training session APIs 把训练循环和底层算力分离,让开发者可以保留算法控制权同时避开 GPU 运维。

  8. AWS Machine Learning Blog43

    Rescale 如何利用 Strands Agents 和 AI-DLC 构建 AI 分诊智能体

    Rescale 在 AWS 上利用 AI-DLC 框架和 Strands Agents 构建 AI 分诊智能体,5 天内完成从定义到预部署。 该智能体运行于 Amazon EKS,调用 Claude Opus 4.8 对测试失败进行分类,并通过 MCP 检索日志生成修复报告。 此举替代了手动分诊流程,加速了端到端测试故障的定位与解决。

10月22日周四
  1. 哩布哩布AI66

    可灵 4.0 满血版上线 LibTV,支持 30 秒原生视频生成与 10 张关键帧控制

    可灵 4.0 满血版正式上线 LibTV,支持最长 30 秒原生视频生成,强化高速运动、复杂镜头调度与动态场景中的物理一致性。该版本支持最多 10 张关键帧控制与 15 项多模态参考,以提升角色表演、场面调度及镜头语言的精细控制能力,同时升级人物微表情、光影层次、材质还原及多语言音画同步效果。

    推荐理由:可灵 4.0 满血版在 LibTV 上线,支持 30 秒原生直出、10 张关键帧控制及 15 项多模态参考,提升了高速运动与复杂运镜的物理一致性。

  2. 蚂蚁开源43

    蚂蚁集团 x vLLM 联合开源 Humming:高性能、灵活的量化推理内核

    蚂蚁集团联合 vLLM 社区开源量化推理算子库 Humming,旨在解决大模型量化部署中的显存与性能瓶颈。 Humming 支持多种 GPU 及 WnA16、W4A8 等量化组合,实测性能优于 Marlin 等方案;其 wheel 包仅 500 KB,已集成至 vLLM 0.29.0 版本。 该库通过统一架构降低内核维护成本,提升低比特权重在实际推理中的吞吐效率。