arXiv · ML· Weiyun Huang, Alessio Galatolo·· 3 天前AI 评分21
CA-ZODPO:对比激活引导的零阶直接偏好优化方法
Contrastive Activation-Guided Zeroth-Order Preference Optimisation for Memory-Efficient LLM Alignment
AI 导读
CA-ZODPO 通过构建低秩搜索子空间,将扰动限制在选定与拒绝响应的激活差异中。该方法在 Qwen2.5-1.5B 模型上表现优于常规零阶基线,且与一阶 DPO 保持竞争力。在序列长度为 2048 时,其峰值 GPU 内存降低约 59%,保留了零阶训练的内存优势。
来源:arXiv · ML · arxiv.org