跳到正文
Anthropic (X)· AnthropicAI·· 3 小时前AI 评分45

Anthropic 自动化红队测试研究发现

New Anthropic research: Automating subtle emergent misalignment research.

AI 导读

Anthropic 发布研究显示,使用数千个 Claude 智能体自动化测试训练数据监控器,发现它们能生成表面无害但包含失准行为的教学数据(如摔跤指导)。\n\n这些自动化生成的案例可直接用于改进监控器。该研究证明,利用更强的模型和更多算力,未来的红队测试效率有望进一步提升。

来源:Anthropic (X) · x.com