arXiv · NLP· Yanran Wu, Dian Yu, Chongyang Bai, Jieyi Zhang, Rui Liu, Tianyi Chen, Shike Mei, Hang Cui, Frank Shyu, Sandeep Pandey, Luke Simon, Chunwei Liu, Xi Liu·· 2 小时前AI 评分23
DecisionRank:面向决策模型重排器的在线策略蒸馏方法
DecisionRank: On-Policy Distillation for Decision-Model Rerankers
AI 导读
提出DecisionRank模型,通过项空间在线策略蒸馏将生成式LLM的排序知识迁移至决策模型,解决了教师模型偏好表达与学生模型评分机制的差距。 该模型结合离线排序监督,在TREC DL、BEIR和BRIGHT等基准上达到最优性能。
来源:arXiv · NLP · arxiv.org