跳到正文
10月14日周三
  1. arXiv · AI28

    将 AI 推理暴露为 5G 用户面电信网络 API

    该研究提出按需推理(Inference on Demand, IoD)抽象,通过 CAMARA 类 API 在 5G 用户面传输切分感知的张量上下文。 基于可编程用户面功能(UPF)测试床评估,IoD 利用可切分视觉 AI 工作负载,证明自适应切分选择可作为面向网络的服务运行。 使推理切分超越简单卸载,为网络原生 AI 服务开启路径,协调计算、上下文与连接。

  2. arXiv · AI33

    企业 Agentic AI 集成参考架构:职责、交互与变异性

    论文提出一种技术中立的 Agentic AI 集成参考架构,将研究、行业标准与互操作性规范合成为十项架构职责。 架构定义了边界不变量、跨职责类型化交互及变异性点,通过 ESG 投资组合分析代理案例实例化,该案例实现了十项职责中的七项。 此结果提供了该架构组织性与适用性的初步证据,部署与记录结果作为可复现包开放。

  3. arXiv · AI27

    86 个开源 LLM 的推理能效测量:基准、推理模式与硬件

    研究测量了 86 个开源 LLM 检查点在 7 项基准和 6 种硬件平台上的推理能效。多数配置能效较低,能耗比同等分数配置中位数高 2.6-4.8 倍,最大达 27 倍。 开启思考模式平均使能耗增加 3.7 倍,而 FP8 量化可减少约 25% 能耗且分数变化微小。 论文建议基准分数应与指定服务机制和输出预算下的实测能耗一同报告。

  4. NVIDIA Blog25

    欧洲城市部署 NVIDIA 驱动 AI 智能体以优化城市运营

    欧洲城市及合作伙伴利用 NVIDIA Cosmos、Nemotron 等模型构建物理 AI 智能体与数字孪生,优化维护、能源及公共服务。 具体应用如法国项目将文档搜索时间从数周缩短至分钟,降低 10% 运营成本;米兰地区通过本地化 AI 工厂提供实时翻译和市民聊天机器人。 这些部署旨在通过 Cisco、Dell 等伙伴构建的本地 AI 工厂,帮助城市在保留数据主权的同时扩展智能服务。

  5. AWS Machine Learning Blog36

    AWS License Manager 自动化激活 Amazon Bedrock 私有定价权益

    AWS 推出自动化方案,简化多账户环境下 Amazon Bedrock 私有定价权益(MPPO)的激活流程。 方案提供轻量脚本与 CDK 事件驱动两种路径:前者用于一次性信任激活,后者自动验证卖家并创建分布式许可,支持组织级批量授权。 自动激活确保谈判价格在许可生效后立即适用,避免手动操作遗漏,并通过 CloudWatch Logs 提供完整审计记录。

  6. Anthropic (X)70

    Anthropic 发布新内部版本控制系统并全面迁移 monorepo

    Anthropic 在工程博客发布新内部版本控制系统,并宣布在 5 个月内完成 monorepo 从 git 的完整迁移。由于合并代码变更量从 5 月的 2500 次/日激增至 9 月的 3 万次/日,现有为人类开发者设计的瓶颈基础设施无法支撑 agent 规模的工作负载。

    推荐理由:原文展示了 Anthropic 从 git 迁移至内部版本控制系统的过程,以及应对 agent 规模瓶颈的架构决策,读者可参考其内部基础设施演进方法。

10月13日周二
  1. AWS Machine Learning Blog71

    AWS Bedrock 教程:如何在五个亚洲 Region 调用 OpenAI GPT-6 全球跨 Region 推理模型

    AWS Bedrock 支持通过全球跨 Region 推理 profile 在泰国、马来西亚、新加坡、印度尼西亚和台湾调用 OpenAI GPT-6 Sol、Luna 和 Astra。

    推荐理由:教程明确了跨 Region 推理在计费、IAM 与 SCP 层面的落地要点,便于读者评估企业网络下的接入成本与合规配置。

10月12日周一
  1. arXiv · AI35

    Agent4Spec:基于LLM的智能体系统通过自动化验证和市场分析优化API规范

    自主多智能体框架Agent4Spec通过验证和市场分析双管线优化API规范,在9款SOTA LLM中最高实现100%语法错误检测率及95%修正成功率。 系统可识别功能缺口并自动生成缺失的端点改进建议,获得超50%的采纳率,作为实用工具应用于API开发。 该方法解决了现有LLM生成规范缺乏持续验证和市场驱动演进的痛点。

  2. arXiv · AI27

    AI 智能体双重范围 PR 的因果研究:应用代码与部署基础设施协同修改的影响

    研究评估了 26,999 个 PR,发现 AI 智能体双重范围修改占比仅 4.48%-4.55%,却引发双模态集成结果。 经 4D 层匹配隔离,被审查的双重范围 PR 合并时间增加 13.13 小时,耗时增至 3.24 倍;而 43.1%-56.2% 的双重范围 PR 绕过人工审查,中位合并时间小于 31 分钟。 研究指出未受检修改损害构建验证,凸显部署感知基准与基于路径的访问控制的必要性。

  3. arXiv · ML26

    FedACS:联邦学习中感知异构性的客户端采样方法

    联邦学习中的通信与计算异构性会导致全局模型收敛至错误驻点。该论文提出了FedACS方法,从理论上统一分析了异构性对优化轨迹的联合影响,证明了其在动态异构环境下能以$O(1/\sqrt{R})$的速率收敛至正确最优解。 实验表明,FedACS在多个数据集上性能优于现有基准,准确率提升4.3%至36%,同时将通信成本降低22%至89%,计算负载降低14%至105%。

  4. arXiv · ML33

    Minions:基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

    Minions 是一个动态分布式虚拟 GPU 云平台,聚合 macOS 设备中闲置的 Apple Silicon GPU,用于执行大规模机器学习推理任务。 该系统提供灵活的 GPU 推理任务执行、故障容忍和高效资源利用,使团队无需额外采购 GPU 即可利用现有硬件。 这证明了在集中式 GPU 资源受限的环境中,闲置 macOS 设备可被转化为实用的分布式 GPU 推理平台。

  5. arXiv · ML33

    ReplaySSM:通过缓存 SSM 输入而非状态优化混合模型

    研究者提出 ReplaySSM 技术,通过展开递归将状态表示为检查点和近期 SSM 输入缓冲区,解决状态读写瓶颈。 该技术在 vLLM 中实现了 Mamba-2 和 Gated DeltaNet,服务批量 256 时解码加速 1.20-1.47 倍,吞吐量为推测解码的 1.8 倍。 分离状态精度降低了输出 KL 散度和精度损失,避免了低精度舍入误差进入后续更新。

  6. arXiv · ML28

    CopRoute 提出基于依赖感知的共形路由方法以优化语言模型调用效率

    新模型路由算法 CopRoute 通过考虑模型间失败依赖性,在控制风险的同时大幅减少了推理调用次数。 CopRoute 依据模型新增覆盖查询数排序并选取最小截断,在 RouterBench 和 RouterEval 上表现优于现有风险控制策略。 该方法在目标风险 0.05 时使调用次数最多减少 79%,且论文已被 NeurIPS 2026 Workshop ODI 接收。

  7. arXiv · ML21

    字节跳动 ByteExpress:基于 RDMA 的大规模分布式推理与训练系统部署经验

    字节跳动在参数服务器系统中部署软件通信层 ByteExpress,基于硬件 RDMA 解决可变消息与突发入站通信难题。 在推理场景中,ByteExpress 将平均及 P99 模型参数获取延迟分别降低 35.7% 和 43.7%,CPU 总使用量减少 10.69%。 训练场景下 P99 参数推送延迟相比 TCP 最多降低 74.0%,运行时无 PFC 暂停。

  8. OpenClaw Releases33

    OpenClaw 2026.10.2 版本发布

    OpenClaw 2026.10.2 修复了稳定版升级中断及 Windows、克隆文件系统更新路径停滞问题,确保原位更新不再报错。 OpenAI 和 Anthropic API 密钥路线默认启用 provider-native compaction,且凭据在长工具输出跨块边界时自动脱敏。

10月10日周六
  1. 硅基流动35

    硅基流动推出 TokenPlus 词元优选:一站式模型接入与智能路由平台

    硅基流动正式发布 TokenPlus 词元优选,一站式接入多模型并实现智能调度。 平台默认采用价格优先负载均衡策略,通过 Session 亲和性提升缓存命中率以降低 Token 成本;支持自动故障切换及服务提供商黑白名单,确保调用稳定性。 提供项目级权限分配与预算管理能力,简化团队 AI 模型使用流程。

10月9日周五
  1. Hugging Face Blog48

    Ai2 推出基于预算的 GPU 集群调度器以提升高影响力研究占比

    Ai2 AI 基础设施团队用含 GPU 时间预算、分层公平份额分配和时间切片机制的新调度器取代优先级调度器,使 GPU 时间分配从个案运营转为透明的行政预算流程。该团队管理数千张 NVIDIA H100、B200 和 B300 GPU,集群规模 88 至 1024 张,服务约 150 名内部研究者。此前需求常超供给 2–3 倍,旧策略导致“占位”和优先级通胀等问题。

  2. 硅基流动28

    东方资产 × 硅基流动:以国产算力为底座,构建企业级大模型基础设施

    东方资产携手硅基流动,基于华为昇腾搭建专属国产算力集群,部署推理引擎与网关平台,支撑金融业务规模化应用。 Prefix Caching 技术减少 60% 以上重复计算,结合量化与统一治理网关,实现稳定、安全且经济的模型调用管理。 该系统满足自主可控合规要求,为智能问答、尽调等场景提供长期稳定运行底座,缓解算力瓶颈。

  3. arXiv · AI27

    重新思考拒绝服务延迟攻击:针对 LLM 服务框架而非模型

    研究指出传统算法级延迟攻击对现代 LLM 服务系统无效,系统级优化如连续批处理可提供逻辑隔离。 论文提出针对调度器状态转移的“填充与挤压”(Fill and Squeeze)攻击策略,利用侧信道探测在 vLLM 上实现 75-742 倍 TTFT 退化。 该攻击比现有方法成本低 30-40%,平均处理速度降低 1.5-4 倍,表明系统层需重新评估安全防御。

  4. arXiv · AI28

    BEVPIPE:基于可移植 GPU 计算 API 的 BEV 感知部署框架

    BEVPIPE 框架利用可移植 GPU 计算 API 部署多模态 BEV 感知流水线,实现端到端 19.5 倍加速,保留 98.5% 参考 mAP。 该框架将模型划分为运行时管理的稠密子图和三个外部算子扩展,通过共享 GPU 内存空间连接,支持不同 GPU 后端。 解决稀疏卷积库仅限 CUDA 和 PyTorch 的厂商锁定问题。