CAST 将已评分的多个候选 token 打包成树结构,通过单次目标模型验证加速大语言模型推理,在八种测试设置中比标准链式验证快最高 43%。
该方法根据延迟测量自适应决定树宽度,无需遍历参数,且已证明在贪心与采样解码下不改变目标输出分布。 代码已开源。
该方法根据延迟测量自适应决定树宽度,无需遍历参数,且已证明在贪心与采样解码下不改变目标输出分布。 代码已开源。
SlideDP 是一款同步数据并行运行时,实现了超越 GPU 显存的全参数 LLM 微调。在匹配批量基准测试中,其吞吐量较 SlideFormer 等基线提升 1.46-2.64 倍。
基于600条编码智能体轨迹分析表明,98.6%的输入token由前缀缓存提供,导致在接近理想缓存情况下,平均输入定价高估循环成本约7倍。 模型委托(delegation)在约半数评估场景中反而增加成本,接近理论预测边界;轮次数量解释了84%的轨迹成本方差,而平均观测大小仅解释4%。
提出VLCQ训练后量化方法,通过变长编码突破INT8定点约束,在图像分类等任务上实现比FP32最高6x压缩且精度反超。 在压缩优先场景下,VLCQ实现12.25x压缩,性能退化低于4%;per-tensor量化表现与DFQ相当,具备更低比特率灵活性。
BELT 提出了一种针对长上下文推理的低秩 KV 缓存压缩框架。通过优化注意力分布而非原始键值,BELT 实现了 70% 的 KV 缓存低秩压缩率。 在保持同等精度的同时,结合量化技术可提升 17.8 倍的 KV 缓存减少量。
summary_zh: 研究者提出自定义运维员(SDO),将经验蒸馏为 playbook 和 detector,仅当 detector 触发时调用 LLM。 在 11 个开源微服务应用中,SDO 将重复故障解决时间缩短 52%,且成本随事件数而非运行时间增长。
FlashMask-3 提出掩码感知的 Hopper 内核及分布式扩展,支持零通信掩码定位。 在 H100 上 4K-128K 上下文,其 TFLOPs 较 FlashMask 提升 45%-141%。 128 张 H100 训练 118B MoE 时,吞吐量较基线提升 7.3%-11.0%。
**补充细节**:M-MoE 在训练中系统改变激活专家数,引导模型学习有意义排序;经对比,按层随机化策略效果最佳,支持为不同模型层分配差异化的计算预算。 **意义**:该工作为大规模 MoE 模型更具实用性与适应性的部署奠定基础。
RadixFlow解耦前缀匹配与状态就绪,消除混合LLM调度中的执行气泡。 在五个混合模型上,该系统将平均延迟降低3%至24%,并减少11%至44%的worker rounds。
研究者提出多GPU训练框架DepBloom,通过时空分区等技术解决时序图神经网络训练依赖限制,在保持模型精度的前提下实现平均2.84倍加速。 该框架利用依赖在时间与图拓扑上的局部性,结合批内记忆细化与关键路径优化,将最大加速比提升至5.16倍。
SparPR 是一种无需修改模型权重或离线训练的运行时 KV 缓存恢复机制,专为解决消费级 GPU 内存带宽瓶颈设计。该机制结合查询感知的 Key 块选择、动态预算控制和按需局部重算,在 RTX 3070 Ti 等消费级硬件上将端到端延迟降低 31%-63%,吞吐量提升 1.4-2.7 倍,使 8k token 任务在 44 分钟内完成。
提出一种针对混合精度 LLM 服务的校准成本模型,解决平均位宽或内存预算作为速度代理指标导致的准确性缺失问题。该模型能根据执行阶段、批大小和上下文长度,识别计算、权重加载或 KV cache 访问中的瓶颈资源,从而准确预测服务延迟。在三种硬件类别中评估了该模型作为预测器的准确性,并将其与测量精度成本结合,通过动态规划在延迟或精度预算下分配配置。
LatentRemedy 通过引入任务条件潜在 token,解决多智能体系统中非前缀 KV 缓存复用导致的模型性能下降问题,避免最高 90% 的性能损失。 该方法利用 MLP 将目标前缀最后隐状态映射为少量潜在 token,置于复用 KV 块后以辅助上下文解读,并通过全预填充蒸馏训练 MLP 引导预测。
E8 晶格向量量化实现 2-bit 键与 2-bit 值(k2v2)低比特 KV-Cache 压缩,整体压缩比约 6 倍。 该方法在 5 个 LLM 模型族测试中,比标量 k3v2 方法小约 20%,且在 80% 的模型-数据集-上下文设置中困惑度更优,同时解码吞吐量与标量基线持平。 E8 晶格键量化成为长上下文 LLM 推理中扩展质量-内存边界的低开销基础工具。
基于Qwen 3.5 35B-A3B的研究表明,在BFCL和MultiWOZ任务中,允许后续Handoff并未比初始模型选择提升效用,在BFCL上反而增加了成本。
该研究提出按需推理(Inference on Demand, IoD)抽象,通过 CAMARA 类 API 在 5G 用户面传输切分感知的张量上下文。 基于可编程用户面功能(UPF)测试床评估,IoD 利用可切分视觉 AI 工作负载,证明自适应切分选择可作为面向网络的服务运行。 使推理切分超越简单卸载,为网络原生 AI 服务开启路径,协调计算、上下文与连接。
一种针对端侧推理的算法将 codec 算子置于计算图中弱连通子图的绝对支配节点,使目标硬件兼容且避免抵消压缩收益。 该算法时间复杂度为线性,在 SigLIP 和 SmolLM2 等四个模型上较朴素局部布局减少 24% 至 44% 的模型化操作数流量。
MapFlow 系统通过复用注意力图替代 KV 状态,实现异构 LLM 的高效服务。 其结合部分重计算与轻量线性转换,并引入块级稀疏压缩和融合检索内核以支持长上下文。 实验表明,该系统在保持生成质量的同时降低了预填充延迟并提升了端到端服务效率。
多模型方法 PAIR 融合 Reader 与 Reasoner 模型以高效处理基于上下文的问答任务。 在 HotpotQA 上,使用 32B Reasoner 的 PAIR 在约为全上下文模型 1/4 KV 内存下保留 96% 准确率;在 45.7K token 上下文下端到端吞吐量最高达全上下文模型的 3.2 倍。
论文提出一种技术中立的 Agentic AI 集成参考架构,将研究、行业标准与互操作性规范合成为十项架构职责。 架构定义了边界不变量、跨职责类型化交互及变异性点,通过 ESG 投资组合分析代理案例实例化,该案例实现了十项职责中的七项。 此结果提供了该架构组织性与适用性的初步证据,部署与记录结果作为可复现包开放。
研究测量了 86 个开源 LLM 检查点在 7 项基准和 6 种硬件平台上的推理能效。多数配置能效较低,能耗比同等分数配置中位数高 2.6-4.8 倍,最大达 27 倍。 开启思考模式平均使能耗增加 3.7 倍,而 FP8 量化可减少约 25% 能耗且分数变化微小。 论文建议基准分数应与指定服务机制和输出预算下的实测能耗一同报告。
基于 PyTorch 的 GF-Bench 框架在分布式 GPU 日志分析测试中显示,对日志进行通用解析会降低检测准确率,最高 F1 分数仅为 0.667,无法可靠识别 CUDA 内存溢出等故障。
研究者提出 EdgeLLM-Nano,在 8.39M 参数(33.6 MB)端侧 LLM 上审计 KV 缓存压缩。 RTN 对照组性能优于极引导量化,一次性幅度剪枝不劣于一致性锚定剪枝;LCDF 评估方法能区分不同后端,而困惑度对所有方法均给出 5.461 的相同分数。
欧洲城市及合作伙伴利用 NVIDIA Cosmos、Nemotron 等模型构建物理 AI 智能体与数字孪生,优化维护、能源及公共服务。 具体应用如法国项目将文档搜索时间从数周缩短至分钟,降低 10% 运营成本;米兰地区通过本地化 AI 工厂提供实时翻译和市民聊天机器人。 这些部署旨在通过 Cisco、Dell 等伙伴构建的本地 AI 工厂,帮助城市在保留数据主权的同时扩展智能服务。
LeanLLM 是一个 Lean 4 类型化 LLM 客户端库,统一接口支持 Claude、GPT、Gemini 等 10 家模型及 OpenRouter、Bedrock 等 12 种 Provider。
作者提出一套 AI Agent 技术栈,使用 Pydantic AI 处理智能体逻辑,LangGraph 管理流程,chanx 实现类型化流式 WebSocket 通信,OpenTelemetry 记录追踪,并用 pytest 模拟 LLM 进行快速测试。该栈的核心思想是将系统边界定义为声明式、类型化的工件,而非依赖开发者记忆,业务逻辑与智能体图解耦在独立服务中。
summary_zh: Mozilla 于 10 月 12 日正式推出 Firefox Enterprise,旨在满足企业客户对数字主权的严格需求。 该版本基于独立的 Gecko 引擎,结合可在自有基础设施运行的管理控制台,支持 IT 团队集中管理浏览器策略、访问权限及 AI 使用限制。
Google DeepMind 与新加坡政府合作推出了针对智能手机优化的端侧诈骗检测模型。该模型基于轻量级 Gemma 微调,能实时识别复杂社会工程诈骗且无需上传隐私数据。通过两阶段流水线在设备本地完成分析,既保护了用户金融安全,又维持了端到端加密隐私。
Code Metal 指出 LLM 代码翻译系统常生成能编译但不保留源程序行为的代码,核心在于跨语言类型映射难以保证正确性。 正确的类型映射需满足转换无失实性与往返保持性,例如 Python 无限大整数到 C int 的映射仅对有界值无损。 映射正确性影响测试一致性,避免转换过程引入非翻译错误,是构建复杂代码库跨语言翻译系统的关键。
Meta CEO 扎克伯格透露,公司在不确定 AI 产品能否成功时,仍承诺投入 1,000 亿至 2,000 亿美元建设基础设施,当时对结果完全没有把握。 为在与 Alphabet、OpenAI 及 Anthropic 抗衡中维持优势,Meta 在 AI 数据中心建设上投入位居行业前列。Meta 定于 10 月 21 日公布业绩,上周自由现金流降至多年低位,股价下跌 8%。
作者构建了MIT协议开源的浏览器控制面板LlamaForge,用于驱动上游llama-server。v0.16版本引入名为Embers的小型本地智能体,可读取指定来源并生成简报;系统要求每个声明必须逐字引用来源,并使用独立代码校验引文是否存在,失败则丢弃该声明。项目大部分代码由Claude Code编写,采用规范规划、子智能体执行及代码审查流程。
开源项目 Commit-Aware Router 发布,旨在让 AI 流量路由决策反映组织已有的商业承诺。 该工具将财务指导转化为受限的路由信号,优先执行质量与安全约束,避免直接传输敏感合同金额。 支持多提供商与多渠道承诺管理,通过客户本地策略编译与短期信号机制保护商业隐私。
AWS 推出自动化方案,简化多账户环境下 Amazon Bedrock 私有定价权益(MPPO)的激活流程。 方案提供轻量脚本与 CDK 事件驱动两种路径:前者用于一次性信任激活,后者自动验证卖家并创建分布式许可,支持组织级批量授权。 自动激活确保谈判价格在许可生效后立即适用,避免手动操作遗漏,并通过 CloudWatch Logs 提供完整审计记录。
NVIDIA 将 Run:AI 平台完整开源,作为 DSX AI Factory 的开源基础,支持在 Kubernetes 上大规模管理 AI 工作负载和 GPU 资源。
Anthropic 在工程博客发布新内部版本控制系统,并宣布在 5 个月内完成 monorepo 从 git 的完整迁移。由于合并代码变更量从 5 月的 2500 次/日激增至 9 月的 3 万次/日,现有为人类开发者设计的瓶颈基础设施无法支撑 agent 规模的工作负载。
推荐理由:原文展示了 Anthropic 从 git 迁移至内部版本控制系统的过程,以及应对 agent 规模瓶颈的架构决策,读者可参考其内部基础设施演进方法。
构建可执行生产环境变更的 AI 智能体,核心安全挑战在于授权而非模型智能。智能体由包裹非确定性模型的确定性软件层定义,而非模型本身。 安全机制包含身份、工具、变更、时间四层边界。智能体继承调用者权限,仅通过受控接口访问生产环境,且写操作需暂停确认。
summary_zh: Consus 推出 LLM 网关,将 AI 请求路由至符合 ITAR 和 FedRAMP High 标准的受控基础设施,支持航空航天与国防企业安全使用敏感数据。
Perplexity基于Rust开发约40,000行的键值数据库CobbleDB,由AI智能体辅助两名工程师在两个月内完成。上线后将中位批量读取延迟从31.4毫秒降至5.6毫秒,预计成本比DynamoDB低20%以上。
福布斯 AI 50 榜单中三分之二公司采用基于用量的定价模式,头部企业正以“外星”逻辑迭代定价、优先市场份额而非 ARR。 Fin、Snowflake 等公司通过混合订阅与积分、预测仪表盘及灵活包装(如 Replit 降低推理成本后的限速免费模式)来应对成本波动与提升可预测性。
独立开发者在 Hacker News 推广自定义信息流工具 sprinklz.io 后,网站遭遇 AI 爬虫导致性能急剧下降。分析 NGINX 日志发现近半流量来自单一 AI 摘要服务,每分钟高频查询网站,另有 Claude、OpenAI 及 Google 等爬虫。开发者通过添加 robots.txt、实施速率限制及优化底层基础设施提升了网站负载处理能力。