跳到正文
11月6日周五
  1. arXiv · AI23

    FlexFloor:面向长尾 MoE RL 训练响应的自适应调度与资源释放系统

    FlexFloor 通过联合自适应响应调度和活跃 worker 组,在保持专家计算需求的同时实现资源提前释放。 相比 verl 基线,FlexFloor 单位占用计算时间生成多约 65.40% 响应 token,响应生成吞吐量提升 52.74%。 rollout 奖励未见明显波动,从而支持大语言模型及 AI agent 更高效的后训练迭代。

  2. NVIDIA Blog65

    NVIDIA 发布 Vera CPU:最高吞吐量与最快 Agent 性能

    NVIDIA 发布 Vera CPU,其在单颗处理器内兼顾了高吞吐量与快 Agent 性能,解决了 AI 工厂对每瓦特处理能力的限制。在 100MW 数据中心对比中,Vera 比最快的 x86 CPU 实现了 1.6 倍的每瓦特 Agent 密度,比最具能效比的 x86 CPU 实现了 2 倍的 Agent 速度。

    推荐理由:官方给出了 Vera CPU 与 x86 在能效比下的实测对比数据,读者可以据此判断其在 AI 工厂场景的落地潜力。

  3. AWS Machine Learning Blog34

    Amazon Marketplace 利用 Amazon SageMaker AI 评估 A+ 内容质量

    亚马逊 A+ 内容使用高质量素材可提升 8–20% 销量,但现有单资产评估难以捕捉整体质量。该方案将完整电商页面渲染为快照,由 VLM 进行整体评估,并结合 OCR 信号与轻量级 CatBoost 分类器预测专家质量标签。 SHAP 解释用于生成改进建议,该端到端流水线基于 Amazon SageMaker AI 实现,涵盖数据摄取至生产监控。

  4. NVIDIA Blog20

    NVIDIA 全栈协同设计如何破解 AI 内存挑战

    NVIDIA 通过全栈协同设计优化 GPU、CPU 与存储层级,最大化每字节 HBM 利用率。 从 Blackwell Ultra 到 Vera Rubin 平台,单 GPU HBM 容量微增 3%,但在 SemiAnalysis AgentX 上每美元智能体吞吐量提升高达 30 倍。 该策略利用 NVFP4 压缩模型权重和 KV 缓存,并通过 NVL72 多卡分布与分层存储缓解内存墙限制。

11月5日周四
  1. 阿里云百炼45

    阿里云百炼模型训练:提示词与 RAG 优化后的后训练方案

    阿里云百炼推出模型后训练能力,提供 SFT、DPO、强化学习、蒸馏等方案,支持通义系列未开源模型微调。 覆盖文本、视觉理解及图音视频语音专项训练,部分模型支持全参或 LoRA 高效微调,并配套 API 及评测工具。 调优模型可直接云上部署调用,但暂不支持下载到本地,企业需结合业务数据质量与成本评估启动训练。

  2. Kimi开放平台69

    Kimi Hosted Agents 发布 Harness as a Service 托管智能体

    Kimi Hosted Agents 正式发布 Harness as a Service,提供云端托管环境、独立沙箱及可审计留痕机制,免去企业自建与维护运行框架的数月投入。产品内置 140+ Skills 与 30+ 插件,支持按任务调用,并配备 8 个金融 Agent 开箱即用模板;企业可接入 Kimi Inference Hook 在推理前校验敏感数据,在可控安全规则下完成应用开发。

    同一新闻,精选展示《Kimi Hosted Agents 正式发布,将 Harness 作为云服务提供》

  3. arXiv · AI26

    Ekka 自动诊断 LLM 推理中的静默错误

    Ekka 系统通过对比目标与参考框架的中间执行状态,实现了对 LLM 静默错误的自动诊断,在由真实错误构成的基准测试中取得了 80% 的 pass@1 准确率。 该系统利用差分调试方法,在 88% 的 pass@5 准确率下超越现有系统,并成功定位 4 个新的静默错误,所有结果均已获开发者确认。

  4. arXiv · AI21

    FedFiOT: Fisher加权最优传输用于单轮和少轮联邦学习中的模型合并

    提出FedFiOT框架,利用Fisher信息量化参数重要性,通过交替最小化方法联合优化神经元对齐与全局模型参数。 理论证明其优化过程单调降低分层合并目标,并建立量化客户端异质性影响的平稳性界。 在多个数据集上,该框架在单轮和少轮联邦学习设置中均持续优于竞争基线。

  5. arXiv · AI29

    Tessera:面向千万原子规模分布式等变注意力分子动力学的运行时

    Tessera 是一种分布式运行时,通过固定工作负载形状实现千万原子规模的高效分子动力学模拟。 该框架将原子沿空间填充曲线排序至等量分片,使每层每步的张量形状保持一致;配合保守邻域皮层、融合 kernel、三级邻域搜索与 All-to-All 通信重叠,支持 CUDA Graph 重用。

  6. arXiv · AI34

    Bloomberg 企业级代码迁移中的混合 LLM-确定性管道

    Bloomberg 在数千个仓库的自动化迁移中,混合管道生成了 2,333 个 Pull Request,其中 729 次迁移成功。 该方案涵盖约 1,900 个 Python 和 6,700 个 C++ 仓库,通过限制 LLM 在预计算上下文内进行转换并引入运行时遥测数据来降低成本。 研究发现瓶颈在于人工审查与部署,而非迁移生成;在 C++ 编译验证和统一仓库群中,该成本显著降低。

  7. arXiv · AI28

    SafeStart 缓解 MoE LLM 服务中主动专家减少带来的安全成本

    在 vLLM 上针对 Qwen1.5-MoE 等模型测试显示,MoE 服务中减少专家数量会使有害请求响应率最高上升 18.4 个百分点。 SafeStart 通过融合内核在提示词及前 8 个生成 token 阶段运行所有专家,后续使用减少后的专家集。 该方法在保留至少 85% 离线解码加速的同时,将越狱场景下的有害响应率变化控制在 -2.1 到 +1.3 个百分点之间。

  8. arXiv · AI25

    Split-KV:训练扩散起草器的高效上下文并行方法

    Split-KV 提出一种精确的上下文并行方法,在 CP 规模 64 时保持 85%-91% 弱扩展效率,比最快基线实现 3.67 倍加速。 该方法使单层注意力通信量仅取决于查询大小,独立于上下文长度;全局查询视图支持基于成本的 LPT 策略,实现 <1% 负载不均衡,规划速度比最佳基线快三个数量级。

  9. arXiv · AI26

    置信门控分层 LLM 推理的可行性条件

    研究者给出了一个闭式条件,用于判断在何种情况下基于置信度信号的 LLM 分层级联比将查询全部路由至中心节点更具价值。 该条件通过引入架构成本比 $\kappa$ 来区分本地计算成本,并划定了存在可行阈值区间(信号下限与完美信号上限)的条件。 当本地计算为沉没成本时,级联的可行性变得无条件,信号质量决定了最终收益;这一发现为现有的分层系统提供了设计依据。

  10. AWS Machine Learning Blog36

    AWS Quick 推出 Smart Approvals:在关键节点保留人工监督

    AWS Quick 推出 Smart Approvals,通过评估动作是否符合用户请求实现自动批准或转人工,不新增权限。 使用独立分类器模型结合知识图谱审查动作,单次自动批准仅限精确参数,超出范围则退回人工确认。 审计记录集成 AWS CloudTrail 与 Amazon CloudWatch Logs,支持全链路事件追溯与安全合规。

  11. AWS Machine Learning Blog30

    Indegene 如何在 AWS 上利用 LLM 驱动的数据质量智能体扩展企业级数据质量管理

    Indegene 在 AWS 上的 NEXT UDP 平台构建 LLM 驱动的数据质量智能体,生成上下文感知的数据质量规则并产出可运行的 SQL 和 Python 代码。 该智能体支持集中式人工介入治理,解决了传统技术规则与业务规则脱节、静态校验无法捕捉业务背景的问题。 此举帮助生命科学企业提升数据质量扩展性,降低数据工程维护工作量。

11月4日周三
  1. arXiv · NLP40

    PersonaFuse:一种情境感知的大模型行为自适应后训练框架

    PersonaFuse 提出一种情境感知的大模型行为自适应后训练框架。 该框架基于特质激活理论和大五人格模型,采用混合专家架构与情境感知路由机制,根据任务上下文动态调整模型行为。 在能力、工作流和部署三个层面评估显示,该框架在保持通用推理、交互质量和安全性的同时,提升了企业场景下的任务完成率。

  2. arXiv · ML26

    vLLM Hook v1:编程 vLLM 模型内部状态的开源插件

    开源插件 vLLM Hook 发布,允许通过配置捕捉和干预 vLLM 模型的内部状态,实现被动探测与主动干预。 版本 1(vLLM Hook MIA)基于 vLLM V2 模型运行器,保留 CUDA 图,显著降低解码开销,支持离线使用与 vllm serve 服务。 该插件支持提示注入检测、幻觉检测、激活转向等用例,扩展了推理引擎的可编程性。

  3. arXiv · ML26

    Bevy 提出基于跨层前瞻的请求调度方法,无需预测专家即可加速本地 MoE 推理,在双节点平台上实现 3.46 倍解码吞吐提升

    针对大语言模型本地部署场景,研究提出名为 Bevy 的新推理系统,通过跨层前瞻的请求调度取代传统的专家预测预取。该方法在请求专家可用时先执行至后续层,再并行获取缺失专家,实现计算与通信重叠。在两个本地测试平台上,其解码吞吐量最高可达其他预取方法的 3.46 倍,且无需额外维护预测模型。

  4. arXiv · ML20

    深度学习编译器:架构、优化与实证表征

    该研究系统分析深度学习编译器架构,并通过实证评估揭示其性能特征。 基于 PyTorch/TorchInductor 与 NVIDIA RTX A6000 的测试显示,编译器收益依赖工作负载,融合友好计算图最高加速 8.21 倍。 动态形状编译将形状转换成本降低约 70%,但会导致轻微的稳态性能下降。

  5. arXiv · AI33

    权重空间编程在审计临床决策网络中的研究

    研究表明,Claude Opus 5.5 在盲审模式下成功识别并修复了 16 个含缺陷临床网络中的 16 个,仅通过中位数 3 个参数修改实现修复。 该模型在 18 个缺陷网络中准确指出了 16 个错误规则,所有发现均通过约 42 万次请求测试验证,证明小网络中权重空间编程可定位阈值偏移等缺陷。

  6. arXiv · AI35

    LLM 推理调度中 cμ 规则在内存约束下的渐近最优性

    针对大语言模型推理的在线调度问题,研究证明 cμ 优先级规则在流体模型下能最小化累积等待成本,并最大化全程输出 token 吞吐量。 该规则的有效服务速率由计算速度、内存带宽和容量共同决定。在 NVIDIA H800 上对真实推理引擎进行的实验表明,该策略能在保持高吞吐量的同时显著降低平均延迟。