arXiv · NLP· Haoxuan Gao, Qin-Wen Luo, Xiang Chen, Yu Tian, Zequn Sun, Xiaofeng Cao, Jiangchao Yao, Sheng-Jun Huang·· 2026-10-14AI 评分27
SeTPO:基于双向 KL 约束的小语言模型教师引导工具学习
Teacher-Guided Tool Learning for Small Language Models via Bidirectional KL Constraints
AI 导读
针对小语言模型工具学习难题,SeTPO 结合选择性教师引导与持久演示监督,优于 SFT、RL 及蒸馏基线。 该方法在低回报轨迹中融入反向 KL 派生的 token 级教师反馈,并利用辅助前向 KL 监督保留教师演示行为。 在 BFCL v4 和 API Bank 基准测试中,SeTPO 在三种不同规模的学生模型上均展现出优越的整体性能。
来源:arXiv · NLP · arxiv.org