跳到正文
arXiv · AI· Yavuz Bakman, Duygu Nur Yaldiz, Baris Askin, Swastik Roy, Morteza Ziyadi, Salman Avestimehr, Sai Praneeth Karimireddy·· 17 天前AI 评分42

对齐数据可能因上下文混淆导致 LLM 失齐

Aligned Data Can Induce Misalignment via Context Confusion

AI 导读

LLM 的对齐训练存在“上下文混淆”现象,导致特定领域出现失齐行为。该现象在性别平等、隐私和物理安全三个领域得到证实,且通用对齐数据难以缓解,需通过针对性数据或 in-context learning 减少影响。这表明仅靠检查训练数据难以预测模型对齐状态,凸显了综合后训练评估的重要性。

来源:arXiv · AI · arxiv.org