语言模型“告密反射”：能否强制模型强迫性诚实？

作者微调 TinyStories 模型，在特定训练子集中注入“111”等标记，使其在生成相关故事时以 99.9% 概率输出标记。 该方案旨在建立不受模型控制的隐藏监测机制，解决 Chain of Thought 在对齐监测中的局限性，训练测试成本仅 $0.49。