R/ArtificialInteligence· /u/AxomaticallyExtinct·· 2026-10-06AI 评分53
模型安全对齐在新格式下失效的现象分析
Swap the letters and the safety training falls off
AI 导读
帖子指出,模型在获得新编码格式时能力能迅速泛化,但安全对齐训练无法同步覆盖,导致安全机制失效;作者认为随着模型能力增强,这种现象会加剧,因为更强的模型能更快地适应新编码,使得原有的安全训练在暴露时更易被绕过。
来源:R/ArtificialInteligence · reddit.com