arXiv · ML· Shenghong Dai, Shiva Kumar Pentyala, Yingchi Liu, Shubham Mehrotra, Suman Banerjee, James Zhu, Bin Bi, Sitaram Asur, Phil Mui·· 2026-10-14AI 评分34
Koa-decision:基于生成式LLM的快速且一致的结构化决策框架
Koa-decision: Fast and Consistent Structured Decision Making with Generative LLMs
AI 导读
Koa-decision 将分类等原子动作转化为单 token 输出的约束生成,通过引入原子标签 token 并应用监督微调,实现低延迟确定性解码。在意图路由基准测试中达到 85.5% 准确率,响应时间约半秒,比最前线模型快最多 7.5 倍。该框架支持多模态输入和多标签输出,填补了现有系统在此类任务上的空白。
来源:arXiv · ML · arxiv.org