arXiv · NLP· Adarsh Singh, Aman Singh, Kushal Raj Bhandari, Soham Dan, Anoop Kumar, Vivek Gupta·· 9 小时前AI 评分22
EKLAV 通过仅监督答案的链式推理蒸馏提升重排序性能
EKLAV: Elicited Key CoT Learning via Answer only superVision
AI 导读
EKLAV 提出保留教师思维链作为上下文但仅监督最终答案的蒸馏方法，在 BRIGHT 榜单 nDCG@10 胜出 41/48 组对比。 该方案将部分推理轨迹移至提示词，训练计算减少 31.6%，推理时间减少 32.7%，超越全轨迹蒸馏 3.0 分。 方法无需学生生成数据或迭代反馈，适用于 pointwise 和 listwise 两种重排序架构。
来源：arXiv · NLP · arxiv.org