跳到正文
11月9日周一
  1. 量子位32

    2026 腾讯全球数字生态大会:AI 原生生产力如何“以人为本”?

    腾讯在 2026 全球数字生态大会上提出以“以人为本”为轴心的 AI 原生生产力飞轮,主张通过底层架构的“可管可控”让人放心,通过开放工作流把人放大。 WorkBuddy 承接超 90 亿次任务请求,上海家化将对账时间从数天压缩至 20 分钟内。通过建立权限、容错与追溯机制,腾讯强调在 AI 加速时代需慢下来打磨人的品鉴能力、思考深度与人际信任。

  2. arXiv · AI35

    TailSieve:基于部分回滚指导的长尾路由 LLM 回滚框架

    TailSieve 提出了一种基于部分回滚指导的框架,通过联合控制长尾路由和副本分配来优化 LLM 大规模回滚性能。 该框架利用部分回滚完成状态作为无训练信号识别长尾组,并采用分层控制器动态调整隔离组数量与副本分配。 实验显示,仅使用路由可实现最高 1.67 倍加速,结合推测解码后加速比达 2.59 倍。

  3. arXiv · ML33

    自适应调度流水线:用于多实例异步强化学习的大语言模型离线 Rollout 调度器

    自适应调度流水线(ASP)作为离线 rollout 调度器,通过单次预处理将端到端吞吐量提升 3.22 倍,迭代时间最多降低 76.8%。 相比 MindSpeed-RL 和 verl,ASP 更有效地克服了单实例推理的早期扩展瓶颈,并在有界策略滞后下保持收敛无退化。 该调度器已在电信领域 RL 后训练工作流中应用,将训练周期从 3 个月以上缩短至约 2 个月。

  4. arXiv · ML26

    CascadeRec:多租户内容推荐中已部署的自适应 LLM 算力分配系统

    CascadeRec 双层 LLM 重排序级联系统已在生产环境中运行超过一个月,推理成本降低约 10%,且未观察到质量回退。该系统仅在路由器判断额外推理算力有益时,将请求升级至更昂贵的 Tier-2 流程。 在公开基准测试中,均匀 LLM 重排序使稀疏历史用户的 NDCG@10 最多降低 30%,且仅在最长期历史的细分组中表现出统计显著收益。

  5. arXiv · AI31

    Scout Before You Route: 利用小型 LLM Prefill 预测任务成功率与 Token 数量

    该方法通过单一小型冻结 LLM 的 prefill activations 预测候选模型的成功率与输出长度,显著降低推理成本。 在 8/9 个数据集上,相比中位长度定价,该预测方法在匹配准确率下节省 9-33% 成本,最高可达完美信息节省量的 69%。 输出长度主要取决于问题难度,20 个标注问题即可保持大部分节省效果,且 scout 规模超过 2B 后节省不再增加。

  6. arXiv · ML31

    MINE:面向大语言模型的高效内存推理引擎

    MINE提出无损熵编码方案,通过利用权重非均匀分布加速LLM单流推理。核心为适配GPU的dtANS-LLM编码器,可自动调优以平衡压缩率与解码延迟。 集成至vLLM作为插件,在Llama 3.1 8B Instruct模型上,RTX 4060 Ti实现2.52倍加速,RTX 5090实现1.48倍加速。项目已开源,旨在解决本地部署中因内存瓶颈导致的低延迟请求难题。

  7. arXiv · ML30

    百亿参数神经网络中的涌现低维拓扑动力学如何决定泛化与逃逸机制

    研究证实百亿参数模型的优化轨迹被约束在有效维数 $d_{\text{eff}} \le 12$ 的低维执行子流形上。 该工作推导了基于持续同调的拓扑泛化界限,并验证了 Top-SGD 算法在 ImageNet 上将训练时间减少 14.1%。 代码已公开,为理解过参数化神经网络的泛化能力提供了严格的数学解释。

  8. arXiv · NLP21

    BitDecoding-FP4:通过算法系统协同设计实现原生 FP4 KV Cache 解码

    提出 BitDecoding-FP4,实现原生 FP4 KV Cache 解码,Qwen3-4B 等模型在 B300 上吞吐量提升 2.4-3.0 倍。 通过双残差量化、概率缩放及异常值感知量化降低误差,精度保持在 BF16 的 0.5 点以内,支持 Qwen3 等模型及 NVFP4 格式。 代码已开源,适用于稠密与 MoE 模型的长上下文 LLM 服务场景。

  9. arXiv · NLP20

    CodeQuant2: 面向低精度大推理模型的异常值抑制与自适应聚类

    CodeQuant2 提出了一种基于聚类的查找表(LUT)量化框架,旨在解决低精度大推理模型(LRMs)的量化挑战。 该框架通过旋转和缩放缓解激活异常值,利用聚类表示非均匀权重分布,并根据量化难度自适应调整代码本大小,同时结合定制的 LUT CUDA 内核。 在推理基准测试中,CodeQuant2 带来了显著的精度提升,并实现了相对于 BF16 高达 2.85 倍的加速。

  10. Hacker News AI40

    Airlock 开源发布:用于管理 AI 编码代理机群的策略即代码标准

    Airlock 发布用于管理 AI 编码代理机群的开源策略即代码标准,作者已在公司运营 23 个工作流。 核心功能支持代理行为版本控制、基于 GitHub OIDC 的细粒度权限管理,以及 1 至 4 级自主性配置。 内置 OTEL 收集器用于审计代理操作,并计划开放源代码后端以支持企业级部署需求。

11月8日周日
  1. IT之家55

    蚂蚁灵光 2.0 上线一周管理 116 万事务,用户数突破 2000 万

    蚂蚁集团旗下 AI 助手灵光 2.0 自 10 月 27 日上线以来,一周内已帮助用户管理超 116 万项事务并执行 360 万次任务,用户总数突破 2000 万。该版本核心特性是 AI 主动识别需求并跟进,而非等待指令,同时接入 APASS 统一账号体系,通过授权密钥与 Agent 分离托管等机制,让智能体在用户授权范围内安全执行跨应用、跨设备任务,用户可随时调整或撤销授权。

  2. IT之家44

    消息称字节跳动拟扩大巴西数据中心项目

    字节跳动拟扩大巴西东北部佩森工业港数据中心二期建设,规模将超过在建的 100 亿美元、300MW 项目。 二期建设可通过向境外输出数据享受税收优惠,公司正物色开发商负责建设,并考虑在港区外另建专门服务巴西本地客户的数据中心。 此举旨在巩固其在拉丁美洲算力基础设施领域的领先地位,巴西政府及政界普遍支持数据中心发展。

  3. Wired35

    《纽约时报》Cooking App 新增 AI 菜谱定制功能,iOS 测试版反响良好

    《纽约时报》Cooking App 在 iOS 测试版中上线 AI 菜谱定制功能,允许用户替换食材或调整食谱,体验表现良好。该功能基于 LLM 技术,参考《纽约时报》食材替换指南及用户评论,修改内容以红橙色文字清晰标示。功能主要服务于食材与设备替换及饮食需求调整,并未替代人工编辑。

  4. Seven Minute Feed27

    Roosh Investment Group 联合创始人:限制数据中心是战略失误

    Roosh Investment Group 联合创始人主张政府应扩大电力供应和电网容量,而非限制数据中心。 爱尔兰数据中心用电量约占全国四分之一,纽约州对大型新设施实施最长一年的许可暂停。 纽约州排队等待的数据中心需求约 12GW,可靠电力供应决定 AI 公司的扩张能力和融资能力。