跳到正文

技术方向

安全对齐 最新动态

AI 安全与对齐:越狱与防御、模型行为研究、安全评测与治理框架的进展。

242 条精选近 30 天 147 条共收录 3,794 条

更新

精选归档 · 第 13 页

2月1日周四第 241–242 条
  1. Hugging Face Blog65

    Hugging Face 基于开源 LLM 实现 Constitutional AI 的可复现训练配方

    Hugging Face 发布了一整套基于开源 LLM 实现 Constitutional AI 的端到端流程与数据集。该流程无需人工反馈,通过自定义“宪法原则”让模型自我批评和修订有害输出。基于 Mistral-7B 进行的实验表明,CAI 模型在 MT Bench 等基准上保持较高可用性,同时在 DAN 越狱测试中展现出显著更安全的响应表现。

    推荐理由:提供可复现的 CAI 训练流程与开源数据集,并验证 CAI 在不损害可用性情况下提升对 DAN 等越狱攻击的鲁棒性。

1月27日周四
  1. OpenAI95

    OpenAI 发布 InstructGPT 模型

    OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。

    推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。