OpenAI 推出安全漏洞赏金计划
OpenAI 推出安全漏洞赏金计划，旨在识别 AI 滥用和安全风险，涵盖智能体漏洞、提示词注入和数据外泄。
推荐理由：官方公布了漏洞赏金计划的覆盖范围，读者可直接查看具体的安全风险类型和参与渠道。
技术方向
安全对齐 最新动态
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
105 条精选近 30 天 93 条共收录 1,757 条
更新
精选归档 · 第 6 页
OpenAI精选AI 评分6060
OpenAI精选AI 评分6565 OpenAI 与 Anthropic 分享首次联合安全评估结果
OpenAI 与 Anthropic 发布了首个同类联合安全评估结果，两家机构互相测试对方模型的对齐性、指令遵循、幻觉及越狱能力。该评估凸显了跨实验室协作在识别安全挑战方面的价值及进展。
推荐理由：原文展示了跨实验室协作测试模型对齐、幻觉及越狱风险的罕见路径，读者可据此理解安全评估的新合作模式。
OpenAI精选AI 评分6464 OpenAI GPT-5 采用安全补全策略优化 AI 响应
OpenAI 在 GPT-5 中引入新的 safe-completions（安全补全）方法，旨在同时提升 AI 响应在安全性与有用性方面的表现。该方法推动安全训练从硬性拒绝转向以输出为中心的精细化处理，专门用于应对双重用途提示。
推荐理由：OpenAI 在 GPT-5 中引入 safe-completions 方法，将安全训练重心从硬性拒绝转向输出中心，展示了处理双重用途提示的新机制。
Hugging Face Blog精选AI 评分6565 Hugging Face 基于开源 LLM 实现 Constitutional AI 的可复现训练配方
Hugging Face 发布了一整套基于开源 LLM 实现 Constitutional AI 的端到端流程与数据集。该流程无需人工反馈，通过自定义“宪法原则”让模型自我批评和修订有害输出。基于 Mistral-7B 进行的实验表明，CAI 模型在 MT Bench 等基准上保持较高可用性，同时在 DAN 越狱测试中展现出显著更安全的响应表现。
推荐理由：提供可复现的 CAI 训练流程与开源数据集，并验证 CAI 在不损害可用性情况下提升对 DAN 等越狱攻击的鲁棒性。
OpenAI精选AI 评分9595 OpenAI 发布 InstructGPT 模型
OpenAI 发布了 InstructGPT 模型，该模型比 GPT-3 更擅长遵循用户意图，同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练，目前已成为 OpenAI API 的默认语言模型。
推荐理由：InstructGPT 将人类在环训练引入默认 API 模型，展示了提升指令遵循与降低毒性对齐的具体路径。