arXiv · AI· Yunqin Zhu, Yao Xie·· 9 小时前AI 评分24
Merge and Branch：面向 LLM 推荐的树结构监督微调方法
Merge and Branch: Efficient Tree-Structured Supervised Fine-Tuning of LLMs for Recommendation
AI 导读
论文提出 Merge and Branch (M&B) 方法，通过压缩历史标识符并分支预测多个目标，降低 LLM 生成式推荐的微调成本。 该方法利用浅宽树结构和树 FlashAttention 共享历史计算，并在受约束解码中扩展 KV cache 以复用历史。 实验表明 M&B 在公开基准上超越强推荐基线，同时显著提升了训练和推理效率。
来源：arXiv · AI · arxiv.org