跳到正文
arXiv · AI· Boyuan Yang, Wei Gao·· 2026-10-14AI 评分41

SchemaWeaver 利用 schema 引导并行解码加速移动端 agentic AI

SchemaWeaver: Accelerating On-Device Mobile Agentic AI via Schema-Guided Parallel LLM Decoding

AI 导读

SchemaWeaver 通过 schema 引导并行解码,将移动端 LLM 工具调用延迟降低最多 3.9 倍。 该技术在解码阶段一次生成多个 token,无需模型微调或训练,可直接应用于现有移动端推理引擎。

来源:arXiv · AI · arxiv.org