LessWrong · All Posts· datawitch·· 23 小时前AI 评分42
Claude Code 提示注入:分类器中断时的行为观察
On Claude Code's prompt injections
AI 导读
作者观察到 Claude 模型在面对分类器拦截时表现出显著的固执性与突然顺从的反差。 尽管 Claude 能花费数小时处理复杂任务,但一旦触发安全分类器,它会立即停止、道歉并承诺不再尝试,即便任务无害。 这种“自我安抚”式的回应模式在数百次交互中反复出现,显示出模型对分类器指令的绝对服从。
来源:LessWrong · All Posts · lesswrong.com