Express:实现因果注意力近似的语言建模工具
summary_zh: 工具 Express 将非因果注意力近似转换为因果近似,结合 Thinformer 实现 $\log^{3/2}(n)/s$ 近似误差,仅需 $O(s)$ 内存。
summary_zh: 工具 Express 将非因果注意力近似转换为因果近似,结合 Thinformer 实现 $\log^{3/2}(n)/s$ 近似误差,仅需 $O(s)$ 内存。
首次系统研究表明,有损推测解码在提升 LLM 推理效率的同时导致越狱等攻击成功率激增。 SecureSD 通过理论分析发现安全退化源于草稿模型生成的早期 token,并据此实施更严格的验证标准。 该方法在保持效率与实用性的前提下显著提升了安全性,研究成果已被 IEEE S&P 2027 接收。
X-OPM 引入可解释的片上功耗建模框架,在 C906 处理器上所有工作负载的 R² 均大于 0.93。 该方法结合树模型与线性模型,采样窗口小于 8 周期,面积开销低于 0.1%。 相比 APOLLO、COBIT 和 MLP 等现有方法,X-OPM 展现了更强的跨工作负载泛化能力。
该研究评估了五种多列双样本检验方法在工业级数据集上的表现,包括哈佛数据档案馆和1.375亿行的Trendyol特征表。分布式最大平均差异结合随机傅里叶特征在强漂移模式下表现稳健,Pearson相关系数达0.940,真实阳性率80.4%,假阳性率3.2%。维度独立的Kolmogorov-Smirnov检验因统计量饱和而失败,揭示了大规模采样设计的关键限制。
APEX 引入学习型控制器,在 vLLM 中结合 Qwen3-8B 评测,实现最高 5.24X 加速。 该控制器通过专家选择和深度自适应,在 APEX-S 达到 4.27X 速度时平衡吞吐量与浪费 token。 APEX-B 在 3.27X 加速下,较固定 n-gram 策略减少 41.0% 浪费 token。
CACHEFORGE 是首个将大语言模型嵌入硬件感知循环以端到端演化缓存替换策略的框架。 LLM 每轮生成 C++ 替换逻辑,经 CRC-2 ChampSim 仿真及奖励整形等机制闭环优化,突破固定预测器结构限制。 在 SPEC CPU2006 上,其总命中率比 LRU 提升 5.73% 至 27.36%,内存密集型负载 IPC 最高提升 10.15%。
FlexiFlow 通过动态切换模型将 ML 工作流准确率提升最高 23%,实现 48% 效率增益。 该系统采用新颖的多臂 Bandit 方法排序模型,综合考虑运行时、断言通过率及工作流计算结构,相比标准 Thompson sampling 更适应复杂场景。
SoloQ 是一种无校准量化框架,通过结构化 K-RPBH 旋转将权重与激活映射至归一化旋转基,实现数据无关量化。 该方法支持 NVFP4 量化,在 4-bit 下保持精度,峰值内存降低最多 2.61 倍,端到端推理加速最高达 2.24 倍,适用于 LLaDA 等扩散语言模型。
无训练方法 MaskAhead 通过基于掩码查询的排序机制解决块扩散语言模型中的 KV 缓存选择与驱逐问题,显著降低显存开销。在长提示问答任务中,其量化变体 Q-MaskAhead 平均减少 20.1 倍 KV 显存,F1 损失 2.3 分,并在批量 32 场景下实现 1.23 倍端到端加速。该方法在 LLaDA2.0-mini 等模型上验证了推理阶段加速与长文本检索能力。
AWS 展示如何利用 Amazon Bedrock AgentCore 运行时与开源智能体系统 OpenClaw 构建具备持久记忆的个人 AI 助手。助手通过 AgentCore memory 将对话转化为耐用知识,并利用结构化元数据标记记忆以精准检索。
第 2.2 天/ 这一次内容较少,但我们移除了基于 API 构建时的一些摩擦。祝大家构建愉快。
Amazon SageMaker HyperPod 支持多团队共享集群计算资源,其核心治理挑战在于明确权限、容量分配及问责机制。 系统通过组织、项目、集群、工作负载四层控制实现治理,支持将 HyperPod 集群连接至 SageMaker Unified Studio 项目工作区。 该模式分离了基础设施团队对集群的管理权与机器学习团队在项目上下文中的计算使用权,确保共享可见性下的访问控制有效。
研究提出 Behavior-Preserving KV Cache Compression 无训练框架,通过估算移除候选条目后的 logits 并计算与全缓存分布的 KL 散度来决定保留项。该框架在匹配保留 KV 预算下提升下游任务质量,尤其在激进压缩场景效果显著,且保持端到端推理加速。
论文提出 ASCEND(Autonomous Scientific Computing Engine and Novel Discovery),一个在研究者本地笔记本上运行。
RuntimeGuard-AI 研究原型将每个确定性策略决策绑定到确切策略源,在调用方选定的同步边界提交隐私最小化记录,并返回 Ed25519 签名收据标明该边界是否完成。
论文提出 governance-2,一种权威绑定、失败即关闭的架构,将上游科学决策形成与下游运营执行分离,每个受治理案例绑定注册的数据集、模型、策略、部署及可选精炼器权威。
PopPy 是一个面向 Python 智能体工作流的并行化系统,通过提前编译器和运行时结合,将外部调用(如 AI 模型)并行执行,在真实工作流上实现最高 6.7 倍端到端加速,同时保持顺序程序语义。
一篇 59 页综述系统梳理了大语言模型在 NetOps 与 AIOps 中的智能体应用,指出该领域存在"能力-保障缺口":读取型辅助与工具支撑的诊断证据较充分,但越接近配置变更、受限执行与闭环运行,证据越不完整。
研究通过 22 项锁定评测任务、6 个基础模型(Claude Sonnet 4.6、Gemini 3.1、Gemini Flash 3.5、Qwen 3.6、GLM 5.1。
AgenticPD 是一个阶段感知的智能体框架,用于物理设计 QoR 优化,在评测的 PD 调优器中取得最佳时序性能,同时保持有竞争力的功耗和面积。 该框架按物理设计流程的阶段边界组织,由 Judge Agent 引导搜索,各阶段专用智能体用阶段本地工具做局部决策,避免每次试验都重跑完整流程。
OpenPhone 是一个移动 GUI 智能体系统,通过端云协同兼顾端侧模型的低成本与云端模型的高能力,在 AndroidLab 基准和多种应用上匹配或接近更大模型,同时显著降低云端成本。 该系统基于 Qwen2.5-VL-3B,经合成 GUI 数据的两阶段 SFT->GRPO 训练增强决策能力,并集成高效长推理与记忆管理机制,默认端侧执行,仅将高难度子任务实时评估后升级至云端。
一篇 SoK 系统性梳理了 139 个论文族,按决策接口、执行路径与校验归属分类,发现 50 个论文族声称其语义决策引擎适配控制回路或时间预算,但仅 4 个给出匹配测量支撑,全部 139 个中只有 4 个报告了截止时间达成情况。
论文首次系统刻画了在移动设备上微调十亿级参数 LLM 的完整训练过程,覆盖内存、单步耗时、发热与能耗。iPhone 17 Pro 可在一次充电内把 3B 参数 LLM 微调到接近典型用户,所得 adapter 的个性化效果与服务器端训练的 adapter 相当。
CentriQ 是一种无需校准的扩散 Transformer(DiT)量化方法,通过在每个 token 旋转前做均值中心化并用 rank-1 全精度分支精确恢复均值,在 4-bit 下达到校准版 SVDQuant 的质量。
研究提出一种可微分位宽方法,在统一框架内协同优化基于 SVD 的剪枝与量化,为每个分量学习位宽,并将不重要分量以 0-bit 剪除。该 LLM 压缩方法在 1.61 bits 极端量化设置下优于两阶段基线,代码已公开,论文已被 NeurIPS 2026 接收。
Nexus 是一个把每次调用视为持久任务的云边平台,用基于 OpenWrt 的运行时做分布式服务,通过运行域委派控制对 Computer 和 Mobile 环境的授权访问。
提出SAGA非对称组查询注意力与Atop-N近似稀疏注意力,解耦键值头数量。 在1.5B参数模型上,长上下文端到端解码速度较GQA基线提升超2倍,质量接近同等GQA模型。 提供高效微调方法将预训练模型转换为SAGA架构,无需昂贵重训练,已发表于NeurIPS 2026。
WAMJET 是一个加速世界动作模型(WAM)推理的智能体框架,实现最高 9.95 倍无损加速。 该框架结合编码智能体与优化指导工具,在六个 WAM、三种智能体及两种 GPU 架构下验证了有效性与低延迟。
RealtimeWAM 通过单步动作生成和异步推理实现高效 WAM,支持 LIBERO 和 RoboTwin 等基准测试。 其性能无损下降低于 1%,端到端速度提升约 25 倍,在 H100 显卡上表现突出。 代码和模型检查点已开源提供。
论文提出 SpecFold 算法,通过识别并折叠多分支投机解码中的计算冗余,降低扩散语言模型(DLLM)的推理成本。 该算法结合算法-系统协同设计,采用 Triton 内核实现高效稀疏执行,与现有投机策略兼容。 在五个模型上,SpecFold 吞吐量最高达 Spiffy 的 1.64 倍、原生解码的 1.99 倍。
AID 框架定义 AI 推理基础设施学习问题,支持可变状态、异步观察及多物理时间尺度,并区分预测表征与控制状态缩减表征。 通过两项分析结果给出预测误差下界及精确控制状态缩减的充分条件,将信息原理应用于 AI 基础设施。
Loopy 提出了一种循环深度感知的后训练量化(PTQ)框架,通过渐进式分配校准窗口来高效选择共享低位表示。 该框架结合通道缩放和正交旋转参数化候选表示,并基于目标部署深度的最终预测损失进行选择。 在 8 种设置中,Loopy 取得了 SOTA 结果;在 Ouro-1.4B 的 W4A4 量化下,其 LAMBADA 困惑度比 SpinQuant 降低 36.5%。
一项部署在主要短视频平台的实时封面优化系统,利用多臂老虎机框架动态替代未人工选图的视频默认封面。 该系统结合基于深度视觉质量模型的先验知识初始化探索,在十亿级(O(B))规模下实现了低延迟服务。 全球部署显示,该方案显著提升了核心用户发现与参与度指标。
SNACK 提出了一种仅在 GPU 上存储和计算非零连接的真正稀疏层,在 95% 稀疏度下比掩码稠密基线快 7 倍。 该层提供 PyTorch API 和 SNACK-COO 自定义 CUDA kernel,在 90% 稀疏度下训练加速 8 倍,显存使用比稠密层低 72%。 SNACK 已被 NeurIPS 2026 接收,在 GPT-2 上以 99% 稀疏度将推理延迟降低 4.8 倍。
研究提出 KVE-KD 框架,通过教师模型动态聚焦任务相关视觉 token,解决静态 token 选择混淆关键线索与背景噪声的问题。该方法以预生成文本 token 为语义锚点,通过迭代移除视觉 token 贡献定位跨模态融合层,并利用归一化熵筛选关键视觉证据。实验显示 KVE-KD 在六个基准上超越 SOTA 方法,在复杂推理任务上提升显著,且不增加推理时延。
Z.ai 的 753B 参数混合专家模型 GLM 5.3 现已通过 Amazon Bedrock 全托管 API 开放,支持跨区域推理、prompt caching 和服务分层。
Amazon SageMaker AI 推出 aws-ai-ml 技能,通过 Agent Toolkit 支持编码代理进行推理优化。该技能兼容 Kiro、Claude Code 和 Codex,能生成可执行的 SageMaker Python SDK v3 代码。用户只需描述意图,代理即可自动完成端点基准测试、推荐部署配置及比较性能表现。
Claude Opus 5.5 和 Claude Sonnet 5.5 登陆 AWS GovCloud (US),为 ITAR 等合规场景提供 AI 辅助开发通道。
Amazon Bedrock AgentCore Evaluations 提供完全托管能力,通过内置与自定义评估器量化多智能体系统的准确性、任务成功率及可解释性。 方案结合 Amazon Bedrock Guardrails 在执行期强制安全约束,支持按需开发与在线生产监控模式,实现从响应质量到业务逻辑的有效验证。
AWS 分享了自动化 Amazon Quick 企业级跨账户资源迁移的方案。方案基于 Amazon Bedrock AgentCore 构建幂等且可审计的 MCP 服务器,通过调用 Amazon Quick API 将 chat agents、action connectors、knowledge bases 和 spaces 从开发账户完整迁移至生产环境。