LessWrong · All Posts· fabricius·· 2026-10-06AI 评分40
Gemma 3 27B-IT 宪法对齐:通过强化学习提升跨原则泛化能力
Encouraging general generalisation: Teaching Gemma (To Articulate) Why
AI 导读
作者为 Gemma 3 27B-IT 构建宪法,提出通过奖励引用宪法进行强化学习以提升跨原则泛化能力。 实验发现合成文档微调法表现最佳,但存在原则泄露问题;强化学习在训练分布上提升对齐,但在评测指标上改进有限。 该研究论证了模型依据宪法显式推理能同时提升跨困境、跨环境和跨原则的泛化能力。
来源:LessWrong · All Posts · lesswrong.com