跳到正文
R/ArtificialInteligence· /u/AxomaticallyExtinct·· 2026-10-06AI 评分53

模型安全对齐在新格式下失效的现象分析

Swap the letters and the safety training falls off

AI 导读

帖子指出,模型在获得新编码格式时能力能迅速泛化,但安全对齐训练无法同步覆盖,导致安全机制失效;作者认为随着模型能力增强,这种现象会加剧,因为更强的模型能更快地适应新编码,使得原有的安全训练在暴露时更易被绕过。

来源:R/ArtificialInteligence · reddit.com