LLM多轮路由中的Handoff Curves:初始选择、后续交接与监督目标
基于Qwen 3.5 35B-A3B的研究表明,在BFCL和MultiWOZ任务中,允许后续Handoff并未比初始模型选择提升效用,在BFCL上反而增加了成本。
基于Qwen 3.5 35B-A3B的研究表明,在BFCL和MultiWOZ任务中,允许后续Handoff并未比初始模型选择提升效用,在BFCL上反而增加了成本。
该研究提出按需推理(Inference on Demand, IoD)抽象,通过 CAMARA 类 API 在 5G 用户面传输切分感知的张量上下文。 基于可编程用户面功能(UPF)测试床评估,IoD 利用可切分视觉 AI 工作负载,证明自适应切分选择可作为面向网络的服务运行。 使推理切分超越简单卸载,为网络原生 AI 服务开启路径,协调计算、上下文与连接。
一种针对端侧推理的算法将 codec 算子置于计算图中弱连通子图的绝对支配节点,使目标硬件兼容且避免抵消压缩收益。 该算法时间复杂度为线性,在 SigLIP 和 SmolLM2 等四个模型上较朴素局部布局减少 24% 至 44% 的模型化操作数流量。
MapFlow 系统通过复用注意力图替代 KV 状态,实现异构 LLM 的高效服务。 其结合部分重计算与轻量线性转换,并引入块级稀疏压缩和融合检索内核以支持长上下文。 实验表明,该系统在保持生成质量的同时降低了预填充延迟并提升了端到端服务效率。
多模型方法 PAIR 融合 Reader 与 Reasoner 模型以高效处理基于上下文的问答任务。 在 HotpotQA 上,使用 32B Reasoner 的 PAIR 在约为全上下文模型 1/4 KV 内存下保留 96% 准确率;在 45.7K token 上下文下端到端吞吐量最高达全上下文模型的 3.2 倍。
论文提出一种技术中立的 Agentic AI 集成参考架构,将研究、行业标准与互操作性规范合成为十项架构职责。 架构定义了边界不变量、跨职责类型化交互及变异性点,通过 ESG 投资组合分析代理案例实例化,该案例实现了十项职责中的七项。 此结果提供了该架构组织性与适用性的初步证据,部署与记录结果作为可复现包开放。
研究测量了 86 个开源 LLM 检查点在 7 项基准和 6 种硬件平台上的推理能效。多数配置能效较低,能耗比同等分数配置中位数高 2.6-4.8 倍,最大达 27 倍。 开启思考模式平均使能耗增加 3.7 倍,而 FP8 量化可减少约 25% 能耗且分数变化微小。 论文建议基准分数应与指定服务机制和输出预算下的实测能耗一同报告。
基于 PyTorch 的 GF-Bench 框架在分布式 GPU 日志分析测试中显示,对日志进行通用解析会降低检测准确率,最高 F1 分数仅为 0.667,无法可靠识别 CUDA 内存溢出等故障。
研究者提出 EdgeLLM-Nano,在 8.39M 参数(33.6 MB)端侧 LLM 上审计 KV 缓存压缩。 RTN 对照组性能优于极引导量化,一次性幅度剪枝不劣于一致性锚定剪枝;LCDF 评估方法能区分不同后端,而困惑度对所有方法均给出 5.461 的相同分数。
欧洲城市及合作伙伴利用 NVIDIA Cosmos、Nemotron 等模型构建物理 AI 智能体与数字孪生,优化维护、能源及公共服务。 具体应用如法国项目将文档搜索时间从数周缩短至分钟,降低 10% 运营成本;米兰地区通过本地化 AI 工厂提供实时翻译和市民聊天机器人。 这些部署旨在通过 Cisco、Dell 等伙伴构建的本地 AI 工厂,帮助城市在保留数据主权的同时扩展智能服务。
Google DeepMind 与新加坡政府合作推出了针对智能手机优化的端侧诈骗检测模型。该模型基于轻量级 Gemma 微调,能实时识别复杂社会工程诈骗且无需上传隐私数据。通过两阶段流水线在设备本地完成分析,既保护了用户金融安全,又维持了端到端加密隐私。
AWS 推出自动化方案,简化多账户环境下 Amazon Bedrock 私有定价权益(MPPO)的激活流程。 方案提供轻量脚本与 CDK 事件驱动两种路径:前者用于一次性信任激活,后者自动验证卖家并创建分布式许可,支持组织级批量授权。 自动激活确保谈判价格在许可生效后立即适用,避免手动操作遗漏,并通过 CloudWatch Logs 提供完整审计记录。
Anthropic 在工程博客发布新内部版本控制系统,并宣布在 5 个月内完成 monorepo 从 git 的完整迁移。由于合并代码变更量从 5 月的 2500 次/日激增至 9 月的 3 万次/日,现有为人类开发者设计的瓶颈基础设施无法支撑 agent 规模的工作负载。
推荐理由:原文展示了 Anthropic 从 git 迁移至内部版本控制系统的过程,以及应对 agent 规模瓶颈的架构决策,读者可参考其内部基础设施演进方法。
QwenGyre 是一个面向超长程智能体任务的在线强化学习框架。在 Qwen3.8-2.4T 模型上,经过 48 步训练,NL2RepoBench 通过率从 52.48% 提升至 58.54%;在相同 GPU 预算下,相比 Async 实现 1.78 倍端到端加速,节省约 44% 训练时间。
AWS Bedrock 支持通过全球跨 Region 推理 profile 在泰国、马来西亚、新加坡、印度尼西亚和台湾调用 OpenAI GPT-6 Sol、Luna 和 Astra。
推荐理由:教程明确了跨 Region 推理在计费、IAM 与 SCP 层面的落地要点,便于读者评估企业网络下的接入成本与合规配置。
利用 llama.cpp DLC 在 Amazon SageMaker AI 上部署支持量化模型的决策推理服务。 通过 SemIf 适配器直接返回选项概率,JevBench 基准测试显示 GPU 端点较 CPU 快 4.9 倍(p50)。 该方案允许应用定义合法选项列表,无需解析生成的非结构化文本即可执行政策检查。
NVIDIA在OCP全球峰会上宣布将Vera Rubin机架与计算托盘设计通过开源NVIDIA MGX架构贡献给OCP,为AI工厂基础设施提供统一开放基础。NVIDIA与AMD、Google、Meta共同发布了开放数据中心规范v0.7和OCP电网韧性规范,定义了下一代AI工厂的设施设计蓝图及电网扰动下的恢复标准。
Qoder IDE 完成 39 项性能优化并建立覆盖 40 个场景的内部 Benchmark。 多数优化集中在删除不必要计算与内存占用,分别占比 36% 和 33%。 macOS 与 Windows 平台综合分从 1.28.0 至 1.32.0 分别提升 39.1 分和 33.1 分。
自主多智能体框架Agent4Spec通过验证和市场分析双管线优化API规范,在9款SOTA LLM中最高实现100%语法错误检测率及95%修正成功率。 系统可识别功能缺口并自动生成缺失的端点改进建议,获得超50%的采纳率,作为实用工具应用于API开发。 该方法解决了现有LLM生成规范缺乏持续验证和市场驱动演进的痛点。
研究评估了 26,999 个 PR,发现 AI 智能体双重范围修改占比仅 4.48%-4.55%,却引发双模态集成结果。 经 4D 层匹配隔离,被审查的双重范围 PR 合并时间增加 13.13 小时,耗时增至 3.24 倍;而 43.1%-56.2% 的双重范围 PR 绕过人工审查,中位合并时间小于 31 分钟。 研究指出未受检修改损害构建验证,凸显部署感知基准与基于路径的访问控制的必要性。
提出基于矩阵熵分析与 CKA 的 LLM 隐藏状态选择框架,显著提升推测解码性能。 通过分层香农熵与成对 CKA 分析揭示表示中的几何与信息模块,并引入 token 熵过滤优化统计量。在 EAGLE3 推测解码中优于默认 $[2, N//2, N-3]$ 基线。
联邦学习中的通信与计算异构性会导致全局模型收敛至错误驻点。该论文提出了FedACS方法,从理论上统一分析了异构性对优化轨迹的联合影响,证明了其在动态异构环境下能以$O(1/\sqrt{R})$的速率收敛至正确最优解。 实验表明,FedACS在多个数据集上性能优于现有基准,准确率提升4.3%至36%,同时将通信成本降低22%至89%,计算负载降低14%至105%。
summary_zh: GraphTok 是一种 GPU Tokenizer,将编码流程作为可重放的 CUDA 图运行,能精确复现 GPT-2、Llama 3、Qwen 2.5、DeepSeek-V3 和 Gemma 3 的参考 Token ID。
Minions 是一个动态分布式虚拟 GPU 云平台,聚合 macOS 设备中闲置的 Apple Silicon GPU,用于执行大规模机器学习推理任务。 该系统提供灵活的 GPU 推理任务执行、故障容忍和高效资源利用,使团队无需额外采购 GPU 即可利用现有硬件。 这证明了在集中式 GPU 资源受限的环境中,闲置 macOS 设备可被转化为实用的分布式 GPU 推理平台。
研究者提出 Coral-KV 框架,通过跨层预测与残差量化压缩视频 KV 缓存。 在 HY-WorldPlay 和 MAGI-1 模型上,Coral-KV 复用配置相比 QVG-4 分别提升 PSNR 0.32 dB 和 4.95 dB,同时减少 48% 和 37% 的缓存内存占用。
研究者提出 ReplaySSM 技术,通过展开递归将状态表示为检查点和近期 SSM 输入缓冲区,解决状态读写瓶颈。 该技术在 vLLM 中实现了 Mamba-2 和 Gated DeltaNet,服务批量 256 时解码加速 1.20-1.47 倍,吞吐量为推测解码的 1.8 倍。 分离状态精度降低了输出 KL 散度和精度损失,避免了低精度舍入误差进入后续更新。
DuoRate 针对 MoE 部署中存储与读取精度分离的问题,提出双速率分配方案。 在 Qwen3-30B-A3B 上,2.3 bpw 读取时平均准确率超 2-bit 基线 6.3-47.0 点。 2.9 bpw 时匹配 4-bit 格式,且比 BF16 在 GSM8K 上仅差 0.25 点。
文章提出了一种智能建筑的自主、隐私保护学习系统架构,旨在应对ICT环境足迹增长及实时响应需求。 该架构基于Arduino生态系统验证数据获取链,提出支持FIWARE标准的KOptim编排框架管理SLA,并适应低功率微控制器的广义Hebbian算法(GHA)。
新模型路由算法 CopRoute 通过考虑模型间失败依赖性,在控制风险的同时大幅减少了推理调用次数。 CopRoute 依据模型新增覆盖查询数排序并选取最小截断,在 RouterBench 和 RouterEval 上表现优于现有风险控制策略。 该方法在目标风险 0.05 时使调用次数最多减少 79%,且论文已被 NeurIPS 2026 Workshop ODI 接收。
在两个时序基础模型中测试推理时移除 Transformer 块的影响。 在中等稀疏度下,Chronos-Bolt(7/11 块)和 TimesFM(16/20 块)对预测质量影响很小,A100 延迟降低 11.2% 和 13.4%。 揭示了跨架构的结构冗余,但尚未形成可部署的动态推理方法。
字节跳动在参数服务器系统中部署软件通信层 ByteExpress,基于硬件 RDMA 解决可变消息与突发入站通信难题。 在推理场景中,ByteExpress 将平均及 P99 模型参数获取延迟分别降低 35.7% 和 43.7%,CPU 总使用量减少 10.69%。 训练场景下 P99 参数推送延迟相比 TCP 最多降低 74.0%,运行时无 PFC 暂停。
OpenClaw 2026.10.2 修复了稳定版升级中断及 Windows、克隆文件系统更新路径停滞问题,确保原位更新不再报错。 OpenAI 和 Anthropic API 密钥路线默认启用 provider-native compaction,且凭据在长工具输出跨块边界时自动脱敏。
硅基流动正式发布 TokenPlus 词元优选,一站式接入多模型并实现智能调度。 平台默认采用价格优先负载均衡策略,通过 Session 亲和性提升缓存命中率以降低 Token 成本;支持自动故障切换及服务提供商黑白名单,确保调用稳定性。 提供项目级权限分配与预算管理能力,简化团队 AI 模型使用流程。
Ai2 AI 基础设施团队用含 GPU 时间预算、分层公平份额分配和时间切片机制的新调度器取代优先级调度器,使 GPU 时间分配从个案运营转为透明的行政预算流程。该团队管理数千张 NVIDIA H100、B200 和 B300 GPU,集群规模 88 至 1024 张,服务约 150 名内部研究者。此前需求常超供给 2–3 倍,旧策略导致“占位”和优先级通胀等问题。
Qoder 团队 5 人用 7 天上线 QoderWork,但在重做 Qoder 时意识到 AI 加速代码生成并未自动带来共识对齐,需解决多团队协作中的上下文脱节问题。
东方资产携手硅基流动,基于华为昇腾搭建专属国产算力集群,部署推理引擎与网关平台,支撑金融业务规模化应用。 Prefix Caching 技术减少 60% 以上重复计算,结合量化与统一治理网关,实现稳定、安全且经济的模型调用管理。 该系统满足自主可控合规要求,为智能问答、尽调等场景提供长期稳定运行底座,缓解算力瓶颈。
SparKV 是一个自适应 KV 加载框架,结合云端 KV 流式传输与端侧计算,通过重叠执行路径降低延迟。 实验表明,SparKV 将首 token 时间减少 1.3x 至 5.1x,单请求能耗降低 1.5x 至 3.3x,对响应质量影响可忽略。 该框架展示了在真实世界端侧部署中的鲁棒性和实用性。
研究指出传统算法级延迟攻击对现代 LLM 服务系统无效,系统级优化如连续批处理可提供逻辑隔离。 论文提出针对调度器状态转移的“填充与挤压”(Fill and Squeeze)攻击策略,利用侧信道探测在 vLLM 上实现 75-742 倍 TTFT 退化。 该攻击比现有方法成本低 30-40%,平均处理速度降低 1.5-4 倍,表明系统层需重新评估安全防御。
DynaTE 提出软硬件协同设计架构,通过动态适应 Token 状态实现加速,在两类 dLLM 上比最先进加速器快 2.05–2.78 倍,能效提升 2.99–3.93 倍。
BEVPIPE 框架利用可移植 GPU 计算 API 部署多模态 BEV 感知流水线,实现端到端 19.5 倍加速,保留 98.5% 参考 mAP。 该框架将模型划分为运行时管理的稠密子图和三个外部算子扩展,通过共享 GPU 内存空间连接,支持不同 GPU 后端。 解决稀疏卷积库仅限 CUDA 和 PyTorch 的厂商锁定问题。