KVCMAS: 面向多智能体共享上下文的低成本 KV Cache 纠偏框架
summary_zh: KVCMAS 提出在线 KV Cache 纠偏框架,通过低秩状态建模多智能体跨缓存偏差,消除额外参考预填充开销。 该框架在多种语言与视觉语言负载中匹配或提升精度,并发服务下 TTFT 最低;相比无共享推理提升 2.0 倍,峰值 GPU 内存较前代方法减少 3.7 倍。
summary_zh: KVCMAS 提出在线 KV Cache 纠偏框架,通过低秩状态建模多智能体跨缓存偏差,消除额外参考预填充开销。 该框架在多种语言与视觉语言负载中匹配或提升精度,并发服务下 TTFT 最低;相比无共享推理提升 2.0 倍,峰值 GPU 内存较前代方法减少 3.7 倍。
summary_zh: 工具 Express 将非因果注意力近似转换为因果近似,结合 Thinformer 实现 $\log^{3/2}(n)/s$ 近似误差,仅需 $O(s)$ 内存。
首次系统研究表明,有损推测解码在提升 LLM 推理效率的同时导致越狱等攻击成功率激增。 SecureSD 通过理论分析发现安全退化源于草稿模型生成的早期 token,并据此实施更严格的验证标准。 该方法在保持效率与实用性的前提下显著提升了安全性,研究成果已被 IEEE S&P 2027 接收。
X-OPM 引入可解释的片上功耗建模框架,在 C906 处理器上所有工作负载的 R² 均大于 0.93。 该方法结合树模型与线性模型,采样窗口小于 8 周期,面积开销低于 0.1%。 相比 APOLLO、COBIT 和 MLP 等现有方法,X-OPM 展现了更强的跨工作负载泛化能力。
该研究评估了五种多列双样本检验方法在工业级数据集上的表现,包括哈佛数据档案馆和1.375亿行的Trendyol特征表。分布式最大平均差异结合随机傅里叶特征在强漂移模式下表现稳健,Pearson相关系数达0.940,真实阳性率80.4%,假阳性率3.2%。维度独立的Kolmogorov-Smirnov检验因统计量饱和而失败,揭示了大规模采样设计的关键限制。
APEX 引入学习型控制器,在 vLLM 中结合 Qwen3-8B 评测,实现最高 5.24X 加速。 该控制器通过专家选择和深度自适应,在 APEX-S 达到 4.27X 速度时平衡吞吐量与浪费 token。 APEX-B 在 3.27X 加速下,较固定 n-gram 策略减少 41.0% 浪费 token。
CACHEFORGE 是首个将大语言模型嵌入硬件感知循环以端到端演化缓存替换策略的框架。 LLM 每轮生成 C++ 替换逻辑,经 CRC-2 ChampSim 仿真及奖励整形等机制闭环优化,突破固定预测器结构限制。 在 SPEC CPU2006 上,其总命中率比 LRU 提升 5.73% 至 27.36%,内存密集型负载 IPC 最高提升 10.15%。
FlexiFlow 通过动态切换模型将 ML 工作流准确率提升最高 23%,实现 48% 效率增益。 该系统采用新颖的多臂 Bandit 方法排序模型,综合考虑运行时、断言通过率及工作流计算结构,相比标准 Thompson sampling 更适应复杂场景。
SoloQ 是一种无校准量化框架,通过结构化 K-RPBH 旋转将权重与激活映射至归一化旋转基,实现数据无关量化。 该方法支持 NVFP4 量化,在 4-bit 下保持精度,峰值内存降低最多 2.61 倍,端到端推理加速最高达 2.24 倍,适用于 LLaDA 等扩散语言模型。
无训练方法 MaskAhead 通过基于掩码查询的排序机制解决块扩散语言模型中的 KV 缓存选择与驱逐问题,显著降低显存开销。在长提示问答任务中,其量化变体 Q-MaskAhead 平均减少 20.1 倍 KV 显存,F1 损失 2.3 分,并在批量 32 场景下实现 1.23 倍端到端加速。该方法在 LLaDA2.0-mini 等模型上验证了推理阶段加速与长文本检索能力。
nanoMuse 0.1.40 发布,这是一个跨手机与电脑的开源个人智能体,GPL-3.0 协议,手机应用基于 OpenMinis,桌面端基于 DeepSeek Harness。
开发者发布开源项目 iloveposts,这是一个运行在 Cloudflare 上的单 Worker 应用,能将 X 帖子链接转化为包含 PNG 图片和交互式 HTML 的视觉卡片。该工具通过单次 LLM 请求设计卡片外观,成本约为 0.01 至 0.02 美元。
文档基金会表示 LibreOffice 在可预见的未来不会内置人工智能功能,用户可通过扩展插件接入本地模型。 该决定旨在确保文档不上传服务器且无需联网,满足数据保留在本机及审计需求,目前暂无集成方案能完全满足此标准。
OpenAI 发布的 GPT-6 Astra 模型规定输入超过 272K token 时,全请求输入与输出费用分别按 2 倍和 1.5 倍计费,而非仅对超额部分加收,这极易导致 RAG 和 Agent 任务账单激增。作者建议通过 token 预算护栏、RAG 检索预算控制、Agent 轨迹压缩以及分层路由等策略,避免误入超额计费区间。
推荐理由:指出了GPT-6 Astra在272K token处按全请求加倍计费的隐性成本陷阱,并给出了基于tiktoken的预算护栏方案。
Ampersand 完成由 Bessemer 领投的 1500 万美元 A 轮融资,强调无系统记录访问权的企业 AI 属空想软件。 该公司为 AI 智能体构建集成基础设施,解决 NetSuite 等系统因“Tripartite Drift”导致的复杂适配难题。 此背景源于创始人 Siftery 的集成教训及 Firebase Extensions 经验,旨在解决数据漂移问题。
AWS 展示如何利用 Amazon Bedrock AgentCore 运行时与开源智能体系统 OpenClaw 构建具备持久记忆的个人 AI 助手。助手通过 AgentCore memory 将对话转化为耐用知识,并利用结构化元数据标记记忆以精准检索。
作者使用 Parseable 与 Datasette 处理 OpenTelemetry 数据,验证了该方案在本地链路追踪中的可行性。 Parseable 提供开源 AGPL Rust 实现及云服务,Datasette 自 1.0a41 版起支持 OpenTelemetry。 该方案实现了从数据摄入到本地 Web 界面可视化 247 个 Span 的完整链路。
第 2.2 天/ 这一次内容较少,但我们移除了基于 API 构建时的一些摩擦。祝大家构建愉快。
Cohere 发布 North 2 全栈 Agentic AI 平台,旨在消除企业部署在安全、智能与成本间的妥协。 平台支持私有化部署及 air-gapped 环境,具备 SOC 2 Type 2、ISO 27001 及 ISO 42001 认证。
openTPU是一款由AI Agent辅助设计的开源AI加速器,已在一块FPGA卡上实测运行LFM2.5-230M等十个模型,芯片输出的token与模拟器逐位匹配。在Inspur YPCB-00338卡上,LFM2.5-230M 4-bit权重解码速度为85.8 tok/s,Qwen3.5-4B解码速度为5.88 tok/s。
推荐理由:原文明确展示AI Agent设计并验证了能运行自身推理的开源加速器芯片,读者可了解软硬件协同的端侧推理路径。
Amazon SageMaker HyperPod 支持多团队共享集群计算资源,其核心治理挑战在于明确权限、容量分配及问责机制。 系统通过组织、项目、集群、工作负载四层控制实现治理,支持将 HyperPod 集群连接至 SageMaker Unified Studio 项目工作区。 该模式分离了基础设施团队对集群的管理权与机器学习团队在项目上下文中的计算使用权,确保共享可见性下的访问控制有效。
开源项目 Connector 被定义为 AI Agent 的控制平面,旨在管理 Agent 可执行的动作而非仅限制其输出。该项目提供身份认证、显式授权、按动作准入、运行时强制及操作者停止控制,并在动作执行前后建立证据链。
RigMark 发布,这是一款专为本地 AI 服务栈设计的可复现压力测试工具,核心逻辑是模拟编码智能体在实际开发中的代码、散文及结构化输出调用行为,而非传统单点模型评测。
组织当前的 AI 治理困境根源在于缺乏对技术架构的清晰认知,无法描述信息在 AI 系统中的流动路径。政策仅确立预期行为,而架构才决定组织能否实际强制执行边界、检测违规及重构事件。
OpenAI 在 Dev Day 推出包含 32 家合作伙伴的 B2B 市场,允许企业客户使用现有 OpenAI 额度购买第三方产品,重点支持通过 Baseten 运行的开放模型。
Natta v1 是一款确定性优先的本地开发控制平面,支持注册仓库管理。AI 仅用于语义路由和规划,实际执行由确定性代码完成,确保操作可验证且安全。 该工具当前支持 macOS 环境,依赖 Python 3.11+ 和 Git,无需额外安装包或模型权重。 Natta 明确区分直接命令与语义层,防止 AI 越权执行,适用于 iOS/Xcode 工作流及通用 Git 仓库管理。
Cohere 发布 North 2,将企业平台升级为可自主运行多步骤工作流并跨会话保留上下文的企业 AI 智能体控制中心。该平台支持多智能体协调、接入 Slack/SharePoint/Jira 等工具,并可直接从文本提示生成演示文稿、仪表板与简易应用,可部署于本地、云端或全隔离环境。
Codex 负责人 Tibo 开启「疯狂28天」计划首日,宣布 GPT-6 Astra 和 GPT-6.1 Sol 默认推理速度提升约 50% 至 50 TPS,但实测称仅达 35 TPS。
推荐理由:文章梳理了 OpenAI 近期的商业化与产品动作,读者可据此判断行业竞争格局的变化。
研究提出 Behavior-Preserving KV Cache Compression 无训练框架,通过估算移除候选条目后的 logits 并计算与全缓存分布的 KL 散度来决定保留项。该框架在匹配保留 KV 预算下提升下游任务质量,尤其在激进压缩场景效果显著,且保持端到端推理加速。
受 AI 基础设施抢占内存芯片供应影响,全球智能手机价格大幅上涨。低端机型出货量暴跌近 60%,中国厂商大幅削减入门级项目,转向高利润高端机。 AI 数据中心需求推高内存成本,现有机型均价涨 15%,新机型贵 25%。
论文提出 ASCEND(Autonomous Scientific Computing Engine and Novel Discovery),一个在研究者本地笔记本上运行。
RuntimeGuard-AI 研究原型将每个确定性策略决策绑定到确切策略源,在调用方选定的同步边界提交隐私最小化记录,并返回 Ed25519 签名收据标明该边界是否完成。
论文提出 governance-2,一种权威绑定、失败即关闭的架构,将上游科学决策形成与下游运营执行分离,每个受治理案例绑定注册的数据集、模型、策略、部署及可选精炼器权威。
PopPy 是一个面向 Python 智能体工作流的并行化系统,通过提前编译器和运行时结合,将外部调用(如 AI 模型)并行执行,在真实工作流上实现最高 6.7 倍端到端加速,同时保持顺序程序语义。
一篇 59 页综述系统梳理了大语言模型在 NetOps 与 AIOps 中的智能体应用,指出该领域存在"能力-保障缺口":读取型辅助与工具支撑的诊断证据较充分,但越接近配置变更、受限执行与闭环运行,证据越不完整。
研究通过 22 项锁定评测任务、6 个基础模型(Claude Sonnet 4.6、Gemini 3.1、Gemini Flash 3.5、Qwen 3.6、GLM 5.1。
AgenticPD 是一个阶段感知的智能体框架,用于物理设计 QoR 优化,在评测的 PD 调优器中取得最佳时序性能,同时保持有竞争力的功耗和面积。 该框架按物理设计流程的阶段边界组织,由 Judge Agent 引导搜索,各阶段专用智能体用阶段本地工具做局部决策,避免每次试验都重跑完整流程。
OpenPhone 是一个移动 GUI 智能体系统,通过端云协同兼顾端侧模型的低成本与云端模型的高能力,在 AndroidLab 基准和多种应用上匹配或接近更大模型,同时显著降低云端成本。 该系统基于 Qwen2.5-VL-3B,经合成 GUI 数据的两阶段 SFT->GRPO 训练增强决策能力,并集成高效长推理与记忆管理机制,默认端侧执行,仅将高难度子任务实时评估后升级至云端。
一篇 SoK 系统性梳理了 139 个论文族,按决策接口、执行路径与校验归属分类,发现 50 个论文族声称其语义决策引擎适配控制回路或时间预算,但仅 4 个给出匹配测量支撑,全部 139 个中只有 4 个报告了截止时间达成情况。
论文首次系统刻画了在移动设备上微调十亿级参数 LLM 的完整训练过程,覆盖内存、单步耗时、发热与能耗。iPhone 17 Pro 可在一次充电内把 3B 参数 LLM 微调到接近典型用户,所得 adapter 的个性化效果与服务器端训练的 adapter 相当。