arXiv · ML· Zhi-Kai Chen, Song-Yan Li, De-Chuan Zhan, Han-Jia Ye·· 2026-10-07AI 评分26
SchemaFill 通过槽位并行推测解码实现高效 LLM 工具调用
SchemaFill: Efficient LLM Tool Calling via Slot-Parallel Speculative Decoding
AI 导读
SchemaFill 框架利用槽位并行推测解码提升 LLM 工具调用效率,在 Glaive 和 BFCL 基准上实现高达 4.05 倍端到端吞吐量提升。 该框架无需预知实际调用序列,将跨字段和跨调用的候选值拼接后由目标模型验证,仅提交已验证 token,并由目标模型修正分歧。
来源:arXiv · ML · arxiv.org