跳到正文
10月21日周三
  1. AWS Machine Learning Blog43

    Eon 如何利用 Amazon Bedrock AgentCore 的 MCP Gateway 构建多云调查架构

    Eon 利用 Amazon Bedrock AgentCore 部署统一的 MCP 网关,取代分散的工具凭据与本地 MCP 进程。 该网关通过 Cedar 策略实现跨 AWS、GCP 和 Azure 的权限控制,支持身份分离与跨账户访问。 新工程师配置工具的时间从两天缩短至约两分钟,显著降低了多云运维的集成成本。

10月20日周二
  1. 商汤科技SenseTime36

    商汤大装置助力上海“开源城市”建设,推动城市级资源开放共享

    上海正式发布“魔玩时空-开源城市”OPC社区,商汤大装置深度参与建设,依托云宇星空大模型实现全国首次城市级脱敏时空数据面向全社会开放。 云宇星空大模型已积累15亿Token语料及1.3万对高质量问答,覆盖规划设计、测绘地理等领域,并开放数据、模型算力、知识语料及智能体四类核心资产。 该平台支持多方协同共创,降低城市空间智能创新门槛,探索AI赋能城市治理与发展的新路径。

  2. arXiv · AI24

    Gypscie: 跨平台 AI 制品管理系统

    Gypscie 是一个跨平台 AI 制品管理系统,通过知识图谱和基于规则的查询语言提供统一的制品视图,简化 AI 应用开发与部署。 系统支持将模型生命周期活动表示为高层数据流,并可在服务器、云平台或超级计算机上调度,同时记录溯源信息以支持可解释性。

  3. arXiv · AI39

    Koi:面向多云异构 LLM 推理机队的证据引导、自校准集群规划器

    Koi 是一种自校准集群规划器,在异构集群上将每 token 成本降低 20%,好put(goodput)较最强基线提升 1.18 倍。 它采用递归语言模型(RLM)层级生成假设,并用固定因果图关联加速器、并行度等决策与延迟、吞吐量等结果。 Koi 的消融实验显示,完整规划器综合得分 70.8,显著高于纯语言模型的 35.3 和配备确定性工具的 51.6。

  4. arXiv · AI33

    UC-RAMP:面向混合专家模型的层级微型专家剪枝框架

    UC-RAMP通过分离专家容量分配与通道选择,在25%和50%剪枝率下于6种设置中的5种取得最高十任务平均准确率。 在50%剪枝下,该框架在三款模型上分别以8.19、3.96和6.14个百分点的优势超越最强基线。 在单张A100显卡25%剪枝部署中,UC-RAMP使首token时间减少19.7–23.9%,每输出token时间减少20.2–22.3%。

  5. arXiv · ML32

    内存受限 LLM 服务中由服务引发的拥塞现象分析

    该研究构建了离散时间动力学模型,分析高并发下 LLM 推理因 KV cache 累积导致的服务引发拥塞及驱逐机制。 针对同质负载,除测度为零的特例外,系统收敛至唯一最坏情形极限环,造成高达 50% 的吞吐量损失。 该工作确立了服务引发拥塞为结构不稳定机制,并推导了维持高吞吐调度的设计原则。

  6. arXiv · ML25

    LOOP 框架提出通过在线策略蒸馏实现对齐恢复的迭代层剪枝

    针对 LLM 部署中一次性层剪枝易导致推理能力严重退化且恢复困难的问题,提出迭代式框架 LOOP。 该框架将剪枝与恢复交叉执行,每次移除单层并进行短期在线策略蒸馏,利用恢复过程的轨迹与信号实现感知恢复的层选择。 实验表明,在不同模型规模和剪枝比率下,LOOP 的平均准确率持续优于一次性基线方法。

  7. arXiv · NLP35

    Coral:面向异构云 GPU 的成本高效多 LLM 服务系统

    Coral 是一个自适应、异构感知的多 LLM 服务系统,通过联合优化资源分配与副本服务策略降低成本。 该系统采用无损两阶段分解方法,将在线求解时间从数小时缩短至数十秒。 在 6 个模型和 20 种 GPU 配置的评估中,Coral 相比最强基线降低了最多 2.79 倍的服务成本,并在资源受限下实现了最多 2.39 倍的有效吞吐提升。

  8. AWS Machine Learning Blog37

    Amazon SageMaker JumpStart 2026 年度回顾:新增超 100 个模型,覆盖 30 家提供商

    2026 年 1 至 9 月,SageMaker JumpStart 新增超过 100 个模型,来自 30 家提供商。 重点纳入 Alibaba(Qwen)29 个模型、NVIDIA 17 个模型及 Mistral 7 个模型,支持 LoRA、SFT、DPO 等微调技术。 强化多模态与高效推理能力,提供量化模型如 GLM-5.2 FP8 和 MiniCPM5-1B。

  9. AWS Machine Learning Blog56

    vLLM 支持双向 KV 缓存传输以改善多轮智能体工作负载的 TTFT

    vLLM 引入双向 KV 缓存传输功能,让 prefill-decode 分离部署中 decode 节点保留已生成的 KV 缓存并反向传回 prefill 节点,避免多轮对话时重复计算上下文。在 Amazon EC2 P5en 实例的 1P1D 基准测试中,开启该功能后 Qwen3-32B 的 TTFT 最高降低 1.6 倍,zai-org/GLM-5-FP8 最高降低 3.3 倍。

10月19日周一
  1. arXiv · ML26

    Safhire 混合推理框架:基于全同态加密实现实用隐私保护

    Safhire 混合推理框架通过服务器端加密执行线性层、客户端明文处理非线性,消除了昂贵的 bootstrapping 过程。该设计支持精确激活,并采用随机洗牌保护模型机密性。在标准模型评测中,其推理延迟比 Orion 和 Concrete-ML 分别降低 7.6 倍和 7.4 倍。 该框架结合了快速密文打包和部分提取优化,在保持可比精度的同时,显著降低了计算成本。

  2. arXiv · ML31

    Pretraining Transformers with Quantized Softmax in Attention

    该研究探讨在预训练中使用 K-interval attention 近似 softmax 时,对模型前向计算及训练梯度的影响。 实验基于 124M 参数模型与 2.5B 训练 token,比较了网格校准、舍入方式及直通替换项的位置。 在 K=4 时采用固定窗口校准及归一化后替换项,验证集损失差为 +0.019 nats;K=16 时采用归一化前替换项,损失差降至 +0.004 nats。

  3. arXiv · NLP36

    SoCo:优化奇异谱以实现大语言模型压缩

    SoCo 框架提出一种数据驱动的方法,通过可学习对角矩阵对 SVD 分解的奇异谱进行重缩放,以优化 LLM 压缩效果。 该方法包含三阶段训练过程,从粗粒度压缩逐步过渡到细粒度稀疏化,利用放大重要分数的剩余组件补偿被剪枝组件的损失,在多模型评测中表现优于最先进方法。

  4. arXiv · ML21

    AH-GNO 自适应时间尺度图神经算子加速泥沙动力模拟

    AH-GNO 将床面演变建模为图算子学习问题,直接在非结构化网格上预测床面高程变化。 模型集成面积加权图学习、历史状态选择和预测时域估计,有效历史长度 K 和更新间隔 B 随流态动态变化。 基于 Telemac2D/GAIA 数据在 Bump、Yen bend 及新西兰 Waiho 河验证,CPU-GPU 部署使床面更新时间从 12~1204 秒降至 0.08~3.34 秒。