arXiv · NLP· Ido Levy, Segev Shlomov, Avi Yaeli, Nir Mashkif, Asaf Adi, Yinon Goldshtein, Eilam Shapira, Leshem Choshen·· 16 小时前AI 评分28
TabAgent 如何用廉价分类器蒸馏 LLM Agent 组件
TabAgent: Distilling LLM Agent Components into Cheap Classifiers
AI 导读
TabAgent 框架在 AppWorld 基准上将 LLM Agent 的决策组件替换为文本表格分类器,实现延迟降低约 95% 及推理成本减少 85-91%。 方法通过 TabSchema 提取特征、TabSynth 增强数据并使用 CatBoost 作为 TabHead 轻量级分类器,该范式可扩展至其他 Agent 决策头。
来源:arXiv · NLP · arxiv.org