为什么语言模型会产生幻觉
OpenAI 发布新研究,解释大语言模型产生幻觉的原因。研究指出,改进的评估方法能够增强 AI 的可靠性、诚实性和安全性。
OpenAI 发布新研究,解释大语言模型产生幻觉的原因。研究指出,改进的评估方法能够增强 AI 的可靠性、诚实性和安全性。
OpenAI 向全球超过1000人发起调研,探讨AI应如何行动,并将结果与 Model Spec 进行对比。这项集体对齐举措旨在使AI的默认行为更好地反映多元化的人类价值观与视角。
OpenAI 与 Anthropic 发布了首个同类联合安全评估结果,两家机构互相测试对方模型的对齐性、指令遵循、幻觉及越狱能力。该评估凸显了跨实验室协作在识别安全挑战方面的价值及进展。
推荐理由:原文展示了跨实验室协作测试模型对齐、幻觉及越狱风险的罕见路径,读者可据此理解安全评估的新合作模式。
OpenAI 在 GPT-5 中引入新的 safe-completions(安全补全)方法,旨在同时提升 AI 响应在安全性与有用性方面的表现。该方法推动安全训练从硬性拒绝转向以输出为中心的精细化处理,专门用于应对双重用途提示。
推荐理由:OpenAI 在 GPT-5 中引入 safe-completions 方法,将安全训练重心从硬性拒绝转向输出中心,展示了处理双重用途提示的新机制。
Hugging Face 宣布与 JFrog 建立合作伙伴关系,将其扫描器集成至 Hugging Face Hub 以提升平台安全性。JFrog 扫描器通过深入解析模型权重中的代码来检测潜在恶意行为,从而降低误报率,支持包括 pickle 在内的多种序列化格式漏洞检测。
Hugging Face 宣布与云安全公司 Wiz 建立合作伙伴关系,旨在提升平台及整个 AI/ML 生态系统的安全性。Wiz 研究人员发现 Hugging Face 沙箱计算环境通过 pickle 执行任意代码的漏洞,该问题已修复。Hugging Face 集成了 Wiz 漏洞管理工具,并联合 Microsoft 开发 Picklescan,同时推广 Safetensors 作为安全替代方案。
Lighthouz AI 联合 Hugging Face 发布 Chatbot Guardrails Arena,旨在压力测试大语言模型及隐私护栏抵御数据泄露的能力。
Hugging Face 博客解析 AI 生成内容的水印技术,旨在应对 deepfake 带来的虚假信息风险。文章介绍了在内容生成期间嵌入水印的方法,以及 Glaze、Nightshade 等用于干扰 AI 训练的图像“毒化”工具。此外,还讨论了 C2PA 标准下的图像签名及 Truepic 等工具,以增强内容来源的可验证性。
Haize Labs 在 Hugging Face 支持下发布 Red Teaming Resistance Benchmark,旨在通过高质量人工攻击测试前沿 LLM 在极端红队测试下的鲁棒性。该基准利用 AdvBench、Beavertails 等数据集,结合 LlamaGuard 和 GPT-4 评估模型输出安全性,并按违规类别细分风险。
Hugging Face 发布了一整套基于开源 LLM 实现 Constitutional AI 的端到端流程与数据集。该流程无需人工反馈,通过自定义“宪法原则”让模型自我批评和修订有害输出。基于 Mistral-7B 进行的实验表明,CAI 模型在 MT Bench 等基准上保持较高可用性,同时在 DAN 越狱测试中展现出显著更安全的响应表现。
推荐理由:提供可复现的 CAI 训练流程与开源数据集,并验证 CAI 在不损害可用性情况下提升对 DAN 等越狱攻击的鲁棒性。
DecodingTrust 团队发布了新的 LLM 安全排行榜,该工具基于 HF leaderboard 模板构建,专注于 LLM 的安全评估。此排行榜支持模型提交者将权重转换为 safetensors 格式并提交以进行信任度评估,同时提供了涵盖毒性、偏见、鲁棒性等八个维度的综合评估框架。
OpenAI 宣布启动一项总额为 1000 万美元的快速资助计划,旨在支持关于超人类 AI 系统对齐与安全的技术研究。资助方向涵盖弱到强泛化、可解释性以及可扩展的监督等领域。
OpenAI 提出一种新的超级对齐研究方向,探讨利用深度学习的泛化属性让弱监督者控制强模型,并展示了有前景的初步结果。
OpenAI 正在开发针对高能力 AI 系统的灾难性风险应对方案。该计划包括组建一个专门的“Preparedness”团队,并发起一项相关挑战赛,以支持前沿 AI 系统的安全性。
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布任命新的 Frontier Model Forum 执行董事,并设立 1000 万美元的 AI 安全基金。该举措旨在推进前沿模型安全合作。
OpenAI 宣布启动 Red Teaming Network 公开征集,邀请领域专家参与提升模型安全性。
OpenAI 推出漏洞赏金计划,以开发安全且先进的 AI。该举措旨在构建安全、可靠和值得信赖的技术服务。
Hugging Face 发布伦理通讯,旨在通过平衡开放性与风险控制来民主化良好的机器学习。平台建立包含严谨、包容等维度的伦理标签体系,并推出模型卡与 RAIL 许可证以强化透明度和使用规范。同时引入社区标记功能,允许用户举报违规内容,以协作方式最小化潜在伤害。
Hugging Face 在 Diffusers 库文档中发布了伦理框架,旨在指导维护者处理社区贡献并明确决策价值观。 该框架确立了透明、一致、简洁、可及、可复现及负责任六大核心原则。同时,团队与安全社区合作实施了多项安全机制,包括内容标签、偏见评估工具、Safe Stable Diffusion 以及 OpenRAILs 许可协议,以降低技术应用风险。
红队测试是评估大型语言模型(LLM)漏洞的关键方法,旨在通过构造自然语言提示词诱导模型生成有害内容,区别于针对分类任务的对抗性攻击。该过程依赖人工或自动化LM进行创意性攻击,以解决模型在安全性对齐后仍可能产生的偏见或恶意输出问题,是保障LLM部署安全性的基础。
OpenAI 宣布将澄清塑造 ChatGPT 行为的机制,并计划改进其行为表现。未来将允许更多用户自定义功能,并在相关决策中征求更多公众意见。 ```json { "title_zh": "OpenAI:ChatGPT 行为准则、自定义与公众参与机制说明", "summary_zh": "OpenAI 宣布将澄清塑造 ChatGPT 行为的机制,并计划改进其行为表现。
Hugging Face 探讨机器学习偏差的社会背景及应对策略,指出单一技术干预无法解决复杂的偏差问题。文章分析了 ML 系统在部署中可能放大的不平等与偏见风险,并分享了 Hugging Face 团队开发的用于在任务定义、数据整理及模型训练各阶段分析偏差的工具与建议。
OpenAI 旨在提升 AI 系统学习人类反馈及协助评估 AI 的能力。其目标是构建足够对齐的 AI 系统,以帮助解决其他所有对齐问题。
OpenAI 针对 DALL·E 2 实施了多项预训练安全措施,以降低强大图像生成模型的相关风险。通过设置防护栏,防止生成图像违反其内容政策,从而在向广泛用户开放该模型时保障合规性。
Hugging Face 多模态学习组发布伦理章程,旨在将数据隐私、算法偏见等伦理原则形式化,作为机器学习全生命周期的核心指引。该文档基于团队与专家讨论制定,明确了禁止生成仇恨言论、泄露个人可识别信息及在高风险领域误用模型等内容策略。团队承诺通过透明披露决策、共享可复现成果及持续自我批评,平衡开放性与公平性,缓解潜在社会危害。
Hugging Face 机器学习专家系列节目邀请到曾创立并联合领导 Google 伦理 AI 团队的 Margaret Mitchell 担任嘉宾。她分享了在微软开发 Seeing AI 应用时,因发现视觉模型对爆炸场景产生“美丽”等错误描述而觉醒伦理 AI 重要性的经历。
OpenAI 分享了其最新思考,旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI 发布了 InstructGPT 模型,该模型比 GPT-3 更擅长遵循用户意图,同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练,目前已成为 OpenAI API 的默认语言模型。
推荐理由:InstructGPT 将人类在环训练引入默认 API 模型,展示了提升指令遵循与降低毒性对齐的具体路径。
OpenAI 最新研究发现,通过在小型精选数据集上进行微调,可以改进语言模型在特定行为价值观方面的表现。
OpenAI 参与由 58 位合著者撰写的多利益相关方报告。报告提出 10 种机制改进 AI 系统声明的可验证性,开发者可用其提供 AI 安全、安全、公平或隐私保护证据。
OpenAI 开发了一种评估神经网络分类器能否可靠防御未见对抗攻击的方法。该方法提出了新指标 UAR,用于衡量单个模型在遭遇未预期攻击时的鲁棒性,并强调需在更广泛的未知攻击范围内衡量性能。
OpenAI 发布政策研究论文,识别出沟通风险、技术协作、提高透明度和激励标准制定四种当前可用的策略,以提升长期行业安全合作的几率。分析指出,行业在安全规范上的合作对确保 AI 系统安全有益至关重要,但竞争压力可能导致集体行动问题,使 AI 公司低估对安全的投资。
OpenAI 发表论文,主张长期 AI 安全研究需引入社会科学家,以确保涉及真实人类时 AI 对齐算法的有效性。该工作旨在推动机器学习与社会科学研究者之间的进一步合作,并计划招聘社会科学家全职参与 OpenAI 的相关项目。
OpenAI 提出一种名为迭代增强(iterated amplification)的 AI 安全技术。该方法通过分解任务而非提供标注数据来指定复杂行为与目标,目前仅在简单玩具算法领域完成实验。
OpenAI 提出一种 AI 安全方法,该方法训练智能体就特定话题相互辩论,并由人类判断胜负。
OpenAI 联合 Future of Humanity Institute 等多家机构共同撰写了一篇论文,预测恶意行为者可能如何滥用 AI 技术。该论文是历时近一年的合作成果,旨在探讨预防此类威胁及缓解潜在风险的方法。
OpenAI 开源了 RL-Teacher,这是一种通过不定期的人类反馈来训练 AI 的接口实现,替代了手工制作的奖励函数。该底层技术最初是为开发安全的 AI 系统而设计的,但也适用于奖励难以明确指定的强化学习问题。
OpenAI 与 DeepMind 安全团队合作开发了一种新算法,该算法通过询问两个行为中哪个更好来推断人类想要什么。这一进展旨在消除人类编写目标函数的需求,从而避免使用简单代理或设定复杂目标出错导致的不利甚至危险行为。
对抗样本是攻击者专门设计、旨在导致机器学习模型犯错的输入,其作用类似机器的光学幻觉。文章展示了不同媒介中对抗样本的作用方式,并探讨了为何很难保护系统免受此类攻击。