跳到正文
今天11月20日周五1 条
  1. AWS Machine Learning Blog32

    Amazon EKS 使用 NVIDIA Run:ai 实现 GPU 内存分片

    在 Amazon EKS 上,NVIDIA Run:ai 通过强制实施每 Pod GPU 内存限制,解决了无 MIG 功能 GPU 的资源共享难题。 该方案基于 Kubernetes 调度集成与 per-Pod 内存契约,允许单个 A10G GPU 同时运行两个分配 6 GiB 内存的 Pod。 此方法显著提升了交互式笔记本及小型推理服务的资源密度,但需注意其不保证故障隔离。

11月19日周四
  1. arXiv · AI33

    Lodestone:基于代理式AI自动发现数据中心硬件专用化机会

    论文提出代理式框架 Lodestone,通过分析代码计算语义自动发现硬件专用化机会,并在 20 个负载上实现平均 12.6%、最高 80.2% 的加速。 该框架从执行轨迹提取热控制流区域,利用代理描述计算功能并合并为计算族,最终通过参考输入验证语义正确性,进而提出 ISA 扩展等硬件建议。

  2. arXiv · AI26

    EnvAgent 多智能体方法在云端构建科学环境

    ENVAGENT 框架通过多智能体协同合成、构建并验证仓库级 Docker 环境,在 54 个科学代码仓库的平均成功率上达到 43.5 个,显著优于 Codex 和 Claude Code 的 23.5 个。 该框架结合确定性工具与智能体规划,在 7 种语言测试集上执行 2,108 项加权检查,综合评分达 62.02,证明环境特异性智能体编排能提升自动化构建效率。

  3. arXiv · ML47

    RSIBench-Infra:Agent 能否在生产规模下优化自身训练与推理基础设施?

    研究团队发布 RSIBench-Infra,这是包含 20 个训练与推理任务的基准,涵盖 NVIDIA GPU 和 Ascend NPU。 任务部署最多使用 32 个加速器,Agent 可修改引擎、内核和指令层级的软件栈,通过 OCI 镜像层协议提交更改。 结果显示 66.2% 的任务实现了超过 1.10 倍的速度提升,证明当前 Agent 能改进生产级性能,但策略转化仍具挑战。

  4. arXiv · AI38

    超时级联策略降低编码智能体推理成本

    研究提出超时级联策略,优先运行小模型,仅在必要时升级大模型。 该策略在 SWE-bench Verified 基准上将总 GPU 小时成本降低 33%,整体任务降低 16.4%,且准确率无损失。 级联策略性能接近最优任务路由器,为生产环境部署低成本编码智能体提供了低工程复杂度的实用路径。

  5. arXiv · NLP34

    BOS Summary:无损提升 LVLM 与 LLM 多步推理性能

    BOS Summary 提出一种免训练推理方法,在预填充阶段允许 BOS token 聚合所有输入信息,使其携带特定于输入的上下文。 该方法在 8 个基准测试中优于直接提示及链式思考(CoT)方法,性能超过近期的 sink 干预技术,且无额外参数或推理开销。 其机制分析表明,让 BOS 携带具体信息可削弱其注意力主导地位,将注意力重新分配至内容 token,改善后续层的行为。

  6. arXiv · NLP24

    QDA:基于智能体的闭环大语言模型量化设计

    QDA 利用智能体自动设计量化配方,在 W4A16、W4A8 和 W3A16 精度下平均精度比最强公开配方高 0.9、1.4 和 2.2 个百分点。 该系统通过计算 KL 散度快速评分候选方案,并提供兼容新架构的公开 PTQ 方法库,每次搜索仅需 64 个 GPU-hours。 在 GLM-5.3-Flash 模型上,QDA 恢复了 FP8 模型 98.3% 的准确率,所有检查点均无推理开销。

  7. arXiv · NLP39

    CV Priority Sorter 审计:人类在环 CV 排序器的部署发现

    在 300 份合成 CV 池中,按工具建议顺序阅读可在半堆内容中发现 95% 的相关候选人,优于随机顺序。 该系统使用冻结的多语言 Transformer 编码器,结合会话级线性模型,每次标签后重新训练并在会话结束时丢弃。 审计发现文档长度即可排序导致指标无效,不确定性采样虽保持模型质量但增加委员会总阅读负载;托管 LLM 嵌入模型将零标签序数判别力从 0.66 提升至 0.80。

  8. AWS Machine Learning Blog52

    Amazon SageMaker JumpStart 推出模型排行榜

    Amazon SageMaker JumpStart 推出模型排行榜(Leaderboard),在 SageMaker Studio 内统一对比 LLM 的质量、速度与成本。排行榜基于 BIG-Bench Hard、GPQA Diamond 和 MMLU-Pro 三项基准,覆盖 70 余款模型,支持使用用例画像与优化目标筛选,并可基于部署配置直接比较响应速度与成本。

  9. AWS Machine Learning Blog62

    Airbnb 如何在 Amazon Bedrock 上用量化成本运营编码智能体

    Airbnb 通过在 Amazon Bedrock 上评估模型得分与“每任务成本”来运营内部编码智能体,并在生产环境通过 CloudWatch 监控延迟、限流与开销。评估体系包含 7 个任务集、多维度评分器及推理强度档位控制;生产侧监控包括延迟、令牌消耗、吞吐量与缓存命中率。该流程使 Airbnb 能够在模型发布后数小时内完成评估并调整智能体配置,使重度用户的成本在切换模型后降至约原来的七分之一。

    推荐理由:结合 Airbnb 的一线实践,拆解编码智能体在 Amazon Bedrock 上的成本核算与监控方法,可直接复用到模型选型与容量规划。

  10. AWS Machine Learning Blog51

    Salesforce 如何使用 Amazon SageMaker AI 跨区推理路由实现全球模型服务

    Salesforce 利用 Amazon SageMaker AI 的跨区推理路由解决了全球 30+ 区域的模型容量碎片化问题,实现了在保障数据驻留的同时灵活扩展算力。该功能将容量感知与故障转移逻辑从应用层解耦,支持在 30 秒内完成区域间的流量切换,显著降低了维护成本。

  11. AWS Machine Learning Blog41

    Amazon Bedrock AgentCore Gateway 如何在中心防火墙架构中连接私有 API

    展示了一种让 Amazon Bedrock AgentCore Gateway 在中心网络架构中连接私有 API 的模式。 该模式使用 VPC Lattice 资源网关和 AWS RAM 共享配置,强制所有流量经过中心防火墙进行双向检查。 此设计使网络团队保留所有子网所有权,支持代理在符合企业安全策略的环境下调用 MCP 服务器。

  12. Hugging Face Blog45

    Hugging Face 研究表明,FLOP 估算预测微调时长误差极大(MAE 12.41 小时),而 CatBoost 回归器在 272 个生产任务中实现了 R² 0.98 的高精度,MAE 降至 1.71 小时。

    研究分析了 NVIDIA H200 GPU 集群上涵盖 LoRA 和全量微调的运行日志,发现仅基于计算的估算忽略了环境设置、数据检查点等非线性开销。 该预测方法利用调度前已知特征优化任务排队,减少 GPU 空闲时间,显著提升集群资源规划效率。

  13. Hugging Face Blog61

    Transformers 实现 MoE 专家流式加载,180B 模型仅需 32GB 内存

    Transformers 通过新增专家流式加载功能,成功在 32GB 内存的 Mac 上运行 180B 参数的 Qwen3.8-Flash-Next 模型。该方法利用有界缓存池让 grouped_mm 直接处理流式专家,短解码速度达到 13.9 tok/s,性能接近 Strata 引擎,证明纯 Python 结合 Metal 内核可大幅提升本地 MoE 推理效率。

    推荐理由:展示了如何用 Transformers 实现 MoE 专家流式加载,读者可借鉴有界缓存和 Metal 内核优化思路提升本地大模型推理效率。

11月18日周三
  1. arXiv · ML30

    灵活负荷整形的“挑樱桃”策略:显著降低电网碳排放

    针对多兆瓦级灵活负荷整形,研究者提出一种可解释的“挑樱桃”策略,能在不增加批发电力成本的前提下,实现比静态LMP整形高2-3倍的年度电网CO2减排。 该方法基于对ERCOT电力市场近8900个节点的仿真数据,结合可观测的电网净需求与节点最低LMP阈值,动态选择当日最优整形信号。