LessWrong · All Posts· Matthew Nguyen·· 2026-10-16AI 评分42
投影采样在保留通用能力时削弱对齐微调收益研究
Projection sampling preserves capabilities but diminishes gains from alignment fine-tuning
AI 导读
研究指出,在对齐微调中,回放(replay)策略比投影采样(projection sampling)能更好地平衡通用能力与对齐水平。投影采样虽可恢复部分能力,但会逆转代理模型失对齐的改善效果,且常保留教师决策却丢失其背后的价值观与理由。鉴于回放表现更优,研究认为投影采样对非前沿实验室的安全蒸馏工作不会产生实质性影响。
来源:LessWrong · All Posts · lesswrong.com