开源网关 Magpie 实现多 Agent 共用硅基流动等模型供应商
开源本地网关 Magpie 允许用户通过一份配置让多个 AI 编程工具共用硅基流动 API Key 及其他模型来源,支持路由组按策略调度多模型。 工具支持 Codex、Claude Code 等,可添加本地模型或订阅账号作为来源,提供用量视图查看请求次数与成本。
开源本地网关 Magpie 允许用户通过一份配置让多个 AI 编程工具共用硅基流动 API Key 及其他模型来源,支持路由组按策略调度多模型。 工具支持 Codex、Claude Code 等,可添加本地模型或订阅账号作为来源,提供用量视图查看请求次数与成本。
该研究证明 LLM 服务中的前缀共享优化在数学上等同于在请求上构建二进制层次结构,打破了传统固定顺序的假设。 作者提出 O(3^m) 精确算法,指出聚类算法可实现 1/2-近似最优节省,并识别出两部件情况对应最小点覆盖。 在 BM25 检索迹线上,新布局使 prefill 减少 17-36%,且层级 DFS 排序可精确达到无限缓存最优性能。
针对大推理模型,研究指出 KV 缓存压缩下最终答案准确率与推理忠实度可能出现脱节。 该“答案-证据鸿沟”在 10 种 token 驱逐方法中显著存在,这些方法能维持答案准确率但大幅削弱证据链支持。 相比之下,一种保持覆盖率的量化方法受影响较小,表明故障源于对推理轨迹部分的访问缺失而非单纯的 KV 内存缩减。
LLM 智能体系统 SpecBuild 通过“投机分叉”在策略与命令层面并行探索,解决了传统串行试错导致的等待浪费问题。 在多仓库评测集 Multi-Docker-Eval 上,SpecBuild 相比最强基线将成功率提升了 6.4 至 12.0 个百分点,同时平均搭建时间缩短了 22.4% 至 41.6%。 这证明了基于 LLM 的环境搭建不必在速度与可靠性之间做取舍,并行探索能实现双重优化。
利用 SageMaker SDK v3 构建双分支 Pipeline,实现边缘设备计算机视觉模型的自动训练、评估与部署。 每相机独立训练 Anomaly Detector 与 ResNet18 分类器,经质量门禁后由 Neo 编译为设备优化构件。 支持 $0.07 低成本全流水线运行,通过 Step Functions 限流并发请求,保障生产稳定性。
阿里云联合清华大学获CCF 2026年度科技进步一等奖,大规模智算中心高性能网络关键技术达国际领先水平。 该HPN架构将万卡集群有效带宽提升近30%,带宽利用率达97%。 支撑千问等模型训练及行业“AI+”应用。
论文提出基于云托管参数服务器和 gRPC 的统一系统架构,支持异构客户端在地理分布式环境中进行 LLM 预训练和微调。 系统在 GPT-2 Medium 和 Llama3-1B 模型上完成了跨多个大学站点的实际实验,验证了其在连接不稳定和硬件异构条件下的稳定收敛能力。 研究还指出了未来需解决的开放问题,包括前沿模型支持、弹性容错、自适应压缩及隐私信任等,以推动分布式 LLM 训练的普及。
在223,228张胸部X光数据的左心室肥大分类任务中,算法发现的亚组表现出0.61至0.90的准确率差距,显著大于传统元数据分析的0.80至0.94。 研究证明这些发现的可解释性,并验证了利用亚组标注缓解模型偏差的可行性。 该方法为增强医疗系统中机器学习模型的性能验证与持续监控提供了实用工具。
研究提出 BiLoCo 方法,使用二进制低秩修正改善大语言模型 FP4 后训练量化精度。 该方法将低秩因子存储为二进制符号向量,每秩存储减少 16 倍,并在 CUDA 核心上并行执行。在 4B 至 72B 模型上,BiLoCo 性能匹配或优于 SVDQuant。
BT 联合爱丁堡大学及 NVIDIA 提出 InferSlice 架构,将 SLO 驱动 LLM 推理整合于电信基础设施,支持网络切片与 GPU 分区。 在 JOINER UK 广域网上评估显示,分层服务产生不同延迟吞吐量区间,权重流式传输缩短扩展时间,张量并行仅限单子网跳。 该架构旨在解决集中式云部署的局限性,为分布式 LLM 推理系统研究提供参考。
日本北海道大学医院部署了 LLENS 临床支持 AI 智能体平台,使用 8 块 NVIDIA H200 GPU 运行约 1 万亿参数的 Kimi K2.6 开源模型,以处理院内文档。在 180 个基于医院文档的问题中,互动访问方式的平均准确率达到 97.2%,比固定检索高出 15.9 个百分点。
Kolibri 是一款由 Aleph Alpha 开发的英德双语混合专家模型,总参数量 78.1B,每 token 激活 3.46B 参数,以 Apache 2.0 许可证开放权重。
提出S-SALAAD框架,通过联合学习模型权重的低秩与结构化稀疏组件,在Llama2和Qwen3模型上实现了跨多种内存预算的高效推理。 框架支持硬件兼容的结构化稀疏模式,并包含针对CPU和GPU的专用内核。实验表明,S-SALAAD在困惑度、内存和推理延迟方面优于对比基线。
summary_zh: ALTO 开源配方在 MLPerf Small MoE 基准上以 MXFP4 格式训练 20B 参数 GPT-OSS-20B,验证损失 3.3350,较 BF16 基线仅差 0.007。
MPQ 将行级后训练量化(PTQ)视为离散码本的后验推理,利用向量近似消息传递计算块级后验,再结合精确块坐标下降细化硬判决。 该方法在 Llama、Qwen 和 Mistral 系列稠密语言模型上,针对 2-bit 格子和 3-、4-bit 标量量化场景,提升了困惑度和零样本准确率。 代码已公开。
OpenClaw 2026.9.34 扩展稳定版发布,提供关键安全更新及可靠性、性能修复。 该版本增强了 agent 文件编辑安全性、优化了管理升级流程,并支持新模型。 修复了 Gateway 日志轮询死循环、Buzz 中继断开退出及 OpenRouter 凭据验证等稳定性问题。
SageMaker AI 端点更新常导致 CloudFormation 部署失败。可复用 CDK 构造通过自定义资源自动编排扩展目标的注销与注册,实现单次部署完成配置更新。该方案利用显式依赖排序解决更新阻塞,无需手动干预即可维护自动扩展参数。
Hugging Face 上线 torch-neuronx 模型支持 Space,用于查询 Hub 热门模型在 AWS Trainium 上的运行状态。 该工具基于 trn2 实例测试,记录核心分片数、耗时及内存,并生成包含静态缓存和 torch.compile(backend="neuron") 的 run.py 脚本。
Qoder 现已支持 Linux ARM64 与龙芯 LoongArch64 平台,并适配统信 UOS 及银河麒麟操作系统,将智能体协作能力延伸至国产桌面环境。
MiniMax 开源了 MiniMax M3.1 Flash 模型权重,总参数 428B、激活参数 23B。上线 72 小时内真实用户处理 Token 超过 100 万亿。该模型通过全模型稀疏注意力、量化感知训练(QAT)和 Power-aware scheduling 提升了推理效率,并与多家国内外芯片厂商及云服务平台、开源社区完成了首日接入。
推荐理由:M3.1 Flash 上线 72 小时处理 Token 超过 100 万亿,展示了模型的高吞吐与广泛的芯片/云平台生态适配能力。
阿里云宣布其Agent Sandbox与容器服务ACK已率先适配阶跃星辰开源模型Step 5 Preview,帮助其打造训练态“算力工厂”。该方案支持分钟级创建3万个沙箱实例、百万级并发运行,并通过微虚拟机隔离与动态存储扩容(节省约40% EBS成本),将模型评估周期从周级压缩至天级,并兼容E2B API以便业务迁移。
蚂蚁开源轻训营高校行首站于 10 月 20 日在浙江大学举办,现场六位讲师分享 AI 基础设施进展,专属任务同步开放认领。 核心分享包括 AReaL 实现 2.7 倍吞吐提升,以及 VSAG 稀疏向量检索性能超业界同类 4 倍。 活动旨在通过真实项目让学生掌握 AI 工具与开源协作,提升工程能力。
FlashBoB 提出一种精确且 I/O 高效的 Softmax 注意力 Backward-over-Backward(BoB)算法,能在单张 A100 80GB GPU 上将序列长度扩展至 262K,且比 FlashBack 快最高 6.3 倍。
summary_zh: 论文提出 BeNice! 方法,通过预训练随机深度和后期训练将最终递归 KV-cache 广播至首次递归,在保持模型质量的同时实现 KV 共享。
采用黄金数据模型(GDM)重构检索上下文的制药声明生成系统,显著提升了生成内容的合规性与个性化。 该模型包含1867条声明数据,支持4个产品维度。在6个产品受众细分中,预期适应症准确率提升29%,目标受众匹配提升67%,每周API成本降低29.5%。 此方法证明了在高风险监管领域,数据架构重构比扩展提示词规则更具可扩展性。
提出即插即用机制 ValuSpec,在目标模型验证前过滤低质量分支,无需训练参数。 基于传输监督对齐目标模型行为,在 HumanEval 等基准上实现最高 2.38x 加速。 集成至 EAGLE-3 框架后可达 2.78x 加速,显著降低验证计算浪费。
在蜂窝网络切换预测场景中,仅关注准确度的基准测试会将实际无法部署的模型排为第一。 评估涵盖 8 种架构,基于手工时间特征的梯度提升树最准确(F1=0.974)且成本最低;而精度基准常排第一的 CNN-1D(F1=0.914)在占空比部署模式下每次推理能耗超过前者 3 倍。 该结果揭示仅基于准确度的评估不仅低估部署成本,还会推举不可行的模型。
Gandalf 是首个具备 SSD 寿命感知能力的 KV Cache 卸载系统,旨在延长存储寿命。 该系统通过优先将全注意力 KV Cache 写入 SSD,平均延长 SSD 寿命 7.3 倍,且对缓存命中率影响极小。
AgentDP 利用 LLM 智能体实现异构嵌入式设备上预训练模型的全自动优化与适配,将模型适配时间最多减少 80%,且平均任务准确率比基线提高 13% 以上。 该框架通过用户需求标准化、算子感知的模型分割及超参数配置复用模块,解决 AI 模型与嵌入式设备执行环境不匹配及重复搜索优化参数的问题。 用户研究证明 AgentDP 在适配不同用户需求和异构嵌入式设备时具备良好的通用性。
该研究提出一种方法,将自回归 LLM 控制编译为并行推理,实现策略精确且零输出 token 的执行。 通过将控制流编译为浅层动作前缀树,该方法在 MetaX 设备上匹配串行策略 84-89% 的问答,控制延迟降低 35-47%。 H800 重复实验证实了排序一致性。
SageMaker 上线 training session APIs,开发者在本地代码中编写 SFT、RL 等训练循环,SageMaker 负责 GPU 上的 sample、forward_backward、optim_step 等算力操作。
推荐理由:SageMaker training session APIs 把训练循环和底层算力分离,让开发者可以保留算法控制权同时避开 GPU 运维。
AWS SageMaker AI 服务器端模型定制训练会话(Training Sessions)正式上线,允许开发者编写自定义 Post-training 循环而无需管理底层 GPU 基础设施。
通过将 AI Agent 生成的句子实时流式传输至 Amazon SageMaker AI 托管的 Kokoro-82M 模型,语音合成即刻启动,消除等待完整响应产生的数秒延迟。
Amazon Quick 是 HIPAA 合格服务,适用于 Web、桌面和移动端。 其 Chat agents 通过 Connectors 和 MCP 处理非结构化及结构化 PHI 数据。 服务本身不自动实现合规,需结合 BAA 签署与自身环境配置。
Rescale 在 AWS 上利用 AI-DLC 框架和 Strands Agents 构建 AI 分诊智能体,5 天内完成从定义到预部署。 该智能体运行于 Amazon EKS,调用 Claude Opus 4.8 对测试失败进行分类,并通过 MCP 检索日志生成修复报告。 此举替代了手动分诊流程,加速了端到端测试故障的定位与解决。
在 Amazon SageMaker AI 上部署 Kokoro-82M 时,应避免猜测自动伸缩参数。方案基于实时端点测量 Q_max(单实例 SLO 内最大并发数)和 T_total(扩容总时长)推导阈值。
NVIDIA 于今日推出 AIOps 平台 Minerva,旨在帮助团队提前发现问题并维持 AI 工厂的生产力。该平台整合基础设施与 AI 工作负载遥测数据,每小时分析数十亿数据点,通过动态知识图谱将事件风暴归并为包含可能根因的聚焦事件。
可灵 4.0 满血版正式上线 LibTV,支持最长 30 秒原生视频生成,强化高速运动、复杂镜头调度与动态场景中的物理一致性。该版本支持最多 10 张关键帧控制与 15 项多模态参考,以提升角色表演、场面调度及镜头语言的精细控制能力,同时升级人物微表情、光影层次、材质还原及多语言音画同步效果。
推荐理由:可灵 4.0 满血版在 LibTV 上线,支持 30 秒原生直出、10 张关键帧控制及 15 项多模态参考,提升了高速运动与复杂运镜的物理一致性。
蚂蚁集团联合 vLLM 社区开源量化推理算子库 Humming,旨在解决大模型量化部署中的显存与性能瓶颈。 Humming 支持多种 GPU 及 WnA16、W4A8 等量化组合,实测性能优于 Marlin 等方案;其 wheel 包仅 500 KB,已集成至 vLLM 0.29.0 版本。 该库通过统一架构降低内核维护成本,提升低比特权重在实际推理中的吞吐效率。
Nemotron-Personas 数据集及 NeMo User Sim 支持多语言模拟评估。波兰部署 DGX BasePOD 辅助医疗影像分析。 该方案旨在保留数据主权,提升公共行政效率。