跳到正文
9月5日周五
8月27日周三
  1. OpenAI65

    OpenAI 与 Anthropic 分享首次联合安全评估结果

    OpenAI 与 Anthropic 发布了首个同类联合安全评估结果,两家机构互相测试对方模型的对齐性、指令遵循、幻觉及越狱能力。该评估凸显了跨实验室协作在识别安全挑战方面的价值及进展。

    推荐理由:原文展示了跨实验室协作测试模型对齐、幻觉及越狱风险的罕见路径,读者可据此理解安全评估的新合作模式。

8月7日周四
  1. OpenAI64

    OpenAI GPT-5 采用安全补全策略优化 AI 响应

    OpenAI 在 GPT-5 中引入新的 safe-completions(安全补全)方法,旨在同时提升 AI 响应在安全性与有用性方面的表现。该方法推动安全训练从硬性拒绝转向以输出为中心的精细化处理,专门用于应对双重用途提示。

    推荐理由:OpenAI 在 GPT-5 中引入 safe-completions 方法,将安全训练重心从硬性拒绝转向输出中心,展示了处理双重用途提示的新机制。

3月4日周二
4月4日周四
  1. Hugging Face Blog47

    Hugging Face 与 Wiz Research 合作强化 AI 安全

    Hugging Face 宣布与云安全公司 Wiz 建立合作伙伴关系,旨在提升平台及整个 AI/ML 生态系统的安全性。Wiz 研究人员发现 Hugging Face 沙箱计算环境通过 pickle 执行任意代码的漏洞,该问题已修复。Hugging Face 集成了 Wiz 漏洞管理工具,并联合 Microsoft 开发 Picklescan,同时推广 Safetensors 作为安全替代方案。

3月21日周四
2月26日周一
  1. Hugging Face Blog38

    Hugging Face 发布 AI 水印技术 101:工具与方法

    Hugging Face 博客解析 AI 生成内容的水印技术,旨在应对 deepfake 带来的虚假信息风险。文章介绍了在内容生成期间嵌入水印的方法,以及 Glaze、Nightshade 等用于干扰 AI 训练的图像“毒化”工具。此外,还讨论了 C2PA 标准下的图像签名及 Truepic 等工具,以增强内容来源的可验证性。

2月23日周五
2月1日周四
  1. Hugging Face Blog65

    Hugging Face 基于开源 LLM 实现 Constitutional AI 的可复现训练配方

    Hugging Face 发布了一整套基于开源 LLM 实现 Constitutional AI 的端到端流程与数据集。该流程无需人工反馈,通过自定义“宪法原则”让模型自我批评和修订有害输出。基于 Mistral-7B 进行的实验表明,CAI 模型在 MT Bench 等基准上保持较高可用性,同时在 DAN 越狱测试中展现出显著更安全的响应表现。

    推荐理由:提供可复现的 CAI 训练流程与开源数据集,并验证 CAI 在不损害可用性情况下提升对 DAN 等越狱攻击的鲁棒性。

1月26日周五
12月14日周四
10月26日周四
10月25日周三
9月19日周二
4月11日周二
3月30日周四
3月2日周四
  1. Hugging Face Blog32

    Hugging Face 发布 Diffusers 库伦理准则与安全防护机制

    Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。

2月24日周五
  1. Hugging Face Blog32

    Red-Teaming Large Language Models

    红队测试是评估大型语言模型(LLM)漏洞的关键方法,旨在通过构造自然语言提示词诱导模型生成有害内容,区别于针对分类任务的对抗性攻击。该过程依赖人工或自动化LM进行创意性攻击,以解决模型在安全性对齐后仍可能产生的偏见或恶意输出问题,是保障LLM部署安全性的基础。

2月16日周四
  1. OpenAI40

    OpenAI:ChatGPT 行为准则、自定义与公众参与机制说明

    OpenAI 宣布将澄清塑造 ChatGPT 行为的机制,并计划改进其行为表现。未来将允许更多用户自定义功能,并在相关决策中征求更多公众意见。 ```json { "title_zh": "OpenAI:ChatGPT 行为准则、自定义与公众参与机制说明", "summary_zh": "OpenAI 宣布将澄清塑造 ChatGPT 行为的机制,并计划改进其行为表现。

12月15日周四
8月24日周三
6月28日周二
5月19日周四
  1. Hugging Face Blog20

    Hugging Face 多模态项目组发布伦理章程,将伦理原则融入研究全周期

    Hugging Face 多模态学习组发布伦理章程,旨在将数据隐私、算法偏见等伦理原则形式化,作为机器学习全生命周期的核心指引。该文档基于团队与专家讨论制定,明确了禁止生成仇恨言论、泄露个人可识别信息及在高风险领域误用模型等内容策略。团队承诺通过透明披露决策、共享可复现成果及持续自我批评,平衡开放性与公平性,缓解潜在社会危害。

3月23日周三
3月3日周四
1月27日周四
  1. OpenAI95

    OpenAI 发布 InstructGPT 模型

    OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。

    推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。

6月10日周四
4月16日周四
8月22日周四
7月10日周三
2月19日周二
10月22日周一
5月3日周四
2月20日周二
8月3日周四
6月13日周二
2月24日周五