跳到正文
10月7日周三
  1. arXiv · ML32

    SecureSD:通过强化早期 token 验证解决 LLM 推测解码安全漏洞

    首次系统研究表明,有损推测解码在提升 LLM 推理效率的同时导致越狱等攻击成功率激增。 SecureSD 通过理论分析发现安全退化源于草稿模型生成的早期 token,并据此实施更严格的验证标准。 该方法在保持效率与实用性的前提下显著提升了安全性,研究成果已被 IEEE S&P 2027 接收。

  2. arXiv · ML27

    大规模电商数据概念漂移下的分布式联合分布测试

    该研究评估了五种多列双样本检验方法在工业级数据集上的表现,包括哈佛数据档案馆和1.375亿行的Trendyol特征表。分布式最大平均差异结合随机傅里叶特征在强漂移模式下表现稳健,Pearson相关系数达0.940,真实阳性率80.4%,假阳性率3.2%。维度独立的Kolmogorov-Smirnov检验因统计量饱和而失败,揭示了大规模采样设计的关键限制。

  3. arXiv · ML36

    CACHEFORGE:由 LLM 引导的端到端生成式缓存替换策略框架

    CACHEFORGE 是首个将大语言模型嵌入硬件感知循环以端到端演化缓存替换策略的框架。 LLM 每轮生成 C++ 替换逻辑,经 CRC-2 ChampSim 仿真及奖励整形等机制闭环优化,突破固定预测器结构限制。 在 SPEC CPU2006 上,其总命中率比 LRU 提升 5.73% 至 27.36%,内存密集型负载 IPC 最高提升 10.15%。

  4. arXiv · ML28

    MaskAhead:面向块扩散语言模型的无训练 KV 缓存驱逐方法

    无训练方法 MaskAhead 通过基于掩码查询的排序机制解决块扩散语言模型中的 KV 缓存选择与驱逐问题,显著降低显存开销。在长提示问答任务中,其量化变体 Q-MaskAhead 平均减少 20.1 倍 KV 显存,F1 损失 2.3 分,并在批量 32 场景下实现 1.23 倍端到端加速。该方法在 LLaDA2.0-mini 等模型上验证了推理阶段加速与长文本检索能力。

  5. AWS Machine Learning Blog26

    Amazon SageMaker HyperPod 管理与治理最佳实践

    Amazon SageMaker HyperPod 支持多团队共享集群计算资源,其核心治理挑战在于明确权限、容量分配及问责机制。 系统通过组织、项目、集群、工作负载四层控制实现治理,支持将 HyperPod 集群连接至 SageMaker Unified Studio 项目工作区。 该模式分离了基础设施团队对集群的管理权与机器学习团队在项目上下文中的计算使用权,确保共享可见性下的访问控制有效。

10月6日周二
  1. arXiv · AI25

    AgenticPD:面向物理设计闭环优化的阶段感知智能体框架

    AgenticPD 是一个阶段感知的智能体框架,用于物理设计 QoR 优化,在评测的 PD 调优器中取得最佳时序性能,同时保持有竞争力的功耗和面积。 该框架按物理设计流程的阶段边界组织,由 Judge Agent 引导搜索,各阶段专用智能体用阶段本地工具做局部决策,避免每次试验都重跑完整流程。

  2. arXiv · AI41

    OpenPhone:移动端智能体基础模型

    OpenPhone 是一个移动 GUI 智能体系统,通过端云协同兼顾端侧模型的低成本与云端模型的高能力,在 AndroidLab 基准和多种应用上匹配或接近更大模型,同时显著降低云端成本。 该系统基于 Qwen2.5-VL-3B,经合成 GUI 数据的两阶段 SFT->GRPO 训练增强决策能力,并集成高效长推理与记忆管理机制,默认端侧执行,仅将高难度子任务实时评估后升级至云端。

  3. arXiv · ML25

    SpecFold:折叠多分支冗余以加速扩散语言模型的投机解码

    论文提出 SpecFold 算法,通过识别并折叠多分支投机解码中的计算冗余,降低扩散语言模型(DLLM)的推理成本。 该算法结合算法-系统协同设计,采用 Triton 内核实现高效稀疏执行,与现有投机策略兼容。 在五个模型上,SpecFold 吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍。

  4. arXiv · ML31

    AID:AI 基础设施动力学框架

    AID 框架定义 AI 推理基础设施学习问题,支持可变状态、异步观察及多物理时间尺度,并区分预测表征与控制状态缩减表征。 通过两项分析结果给出预测误差下界及精确控制状态缩减的充分条件,将信息原理应用于 AI 基础设施。

  5. arXiv · ML25

    Loopy:针对循环语言模型的低位量化框架

    Loopy 提出了一种循环深度感知的后训练量化(PTQ)框架,通过渐进式分配校准窗口来高效选择共享低位表示。 该框架结合通道缩放和正交旋转参数化候选表示,并基于目标部署深度的最终预测损失进行选择。 在 8 种设置中,Loopy 取得了 SOTA 结果;在 Ouro-1.4B 的 W4A4 量化下,其 LAMBADA 困惑度比 SpinQuant 降低 36.5%。

  6. arXiv · ML26

    十亿级短视频封面优化:基于多臂老虎机框架的自动化解决方案

    一项部署在主要短视频平台的实时封面优化系统,利用多臂老虎机框架动态替代未人工选图的视频默认封面。 该系统结合基于深度视觉质量模型的先验知识初始化探索,在十亿级(O(B))规模下实现了低延迟服务。 全球部署显示,该方案显著提升了核心用户发现与参与度指标。

  7. arXiv · ML34

    SNACK 实现 GPU 上真正稀疏神经网络

    SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。

  8. arXiv · ML35

    KVE-KD:面向视觉语言模型的关键视觉证据引导知识蒸馏

    研究提出 KVE-KD 框架,通过教师模型动态聚焦任务相关视觉 token,解决静态 token 选择混淆关键线索与背景噪声的问题。该方法以预生成文本 token 为语义锚点,通过迭代移除视觉 token 贡献定位跨模态融合层,并利用归一化熵筛选关键视觉证据。实验显示 KVE-KD 在六个基准上超越 SOTA 方法,在复杂推理任务上提升显著,且不增加推理时延。

  9. AWS Machine Learning Blog38

    使用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与实用性

    Amazon Bedrock AgentCore Evaluations 提供完全托管能力,通过内置与自定义评估器量化多智能体系统的准确性、任务成功率及可解释性。 方案结合 Amazon Bedrock Guardrails 在执行期强制安全约束,支持按需开发与在线生产监控模式,实现从响应质量到业务逻辑的有效验证。