arXiv · NLP· Yishen Chen, Qi Dong, Yukun Zhang·· 3 小时前AI 评分38
层级对齐：面向大语言模型偏好调优的块级 LoRA-DPO
Hierarchical Alignment: Block-Level LoRA-DPO for Preference Tuning in Large Language Models
AI 导读
该研究提出层级对齐方法，将解码器深度划分为局部、中间和全局区域，并限制 LoRA 更新仅作用于选定连续块。 在 Qwen 和 Llama 模型测试中，严格匹配可训练参数时，中间区域（Middle）配置在 Qwen2.5-7B 和 Llama-3.1-8B 上实现了比全深度分配更低的 DPO 留出损失，且峰值内存占用更低、训练步长更短。
来源：arXiv · NLP · arxiv.org