跳到正文
arXiv · ML· Weiyun Huang, Alessio Galatolo·· 3 天前AI 评分21

CA-ZODPO:对比激活引导的零阶直接偏好优化方法

Contrastive Activation-Guided Zeroth-Order Preference Optimisation for Memory-Efficient LLM Alignment

AI 导读

CA-ZODPO 通过构建低秩搜索子空间,将扰动限制在选定与拒绝响应的激活差异中。该方法在 Qwen2.5-1.5B 模型上表现优于常规零阶基线,且与一阶 DPO 保持竞争力。在序列长度为 2048 时,其峰值 GPU 内存降低约 59%,保留了零阶训练的内存优势。

来源:arXiv · ML · arxiv.org