跳到正文
arXiv · NLP· Tianlang Chen, Shirley Wu, Jure Leskovec·· 7 天前AI 评分36

FiC框架提出视图非对称自蒸馏,弥合LLM多轮对话性能差距

Found in Conversation: LLMs Teach Themselves to Close the Multi-Turn Gap

AI 导读

针对LLM在多轮对话中表现远逊于单轮的“Lost-in-Conversation”现象,本文提出FiC训练框架。 该框架开发视图非对称自蒸馏(View-Asymmetric Self-Distillation),无需外部教师,在Llama、Qwen等3B-14B模型上恢复92-100%单轮性能。 该方法使多轮对话更高效,且基本保留单轮能力,已被NeurIPS 2026接收。

来源:arXiv · NLP · arxiv.org