技术方向
AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
88 条精选近 30 天 77 条共收录 1,408 条
Google 发布基于 Gemini 3.5 Flash 微调的网络安全模型 Gemini 3.5 Flash Cyber，用于高效发现、验证和修复代码漏洞。该模型通过限制政府及可信合作伙伴的试点计划访问，在 CyberGym 和 Chrome 生产环境等测试中展现了优于主线路基模型和更大模型的高效性能，已用于保护 Google 内部代码库。
推荐理由：官方发布了针对网络安全微调的轻量化模型，提供了在漏洞扫描任务中降低成本并提升覆盖率的实操架构。
OpenAI 扩展其 Trusted Access for Cyber 计划，向经过审核的防御者推出 GPT-5.4-Cyber。随着 AI 网络安全能力的发展，OpenAI 正在加强相关保障措施。
推荐理由：OpenAI为经过审核的防御者推出GPT-5.4-Cyber并加强保障措施，为读者提供AI网络安全能力扩展的具体路径。
OpenAI 发布《儿童安全蓝图》，这是一份旨在通过安全护栏、年龄适宜设计和多方协作来负责任地构建 AI 并保护儿童的路线图。
推荐理由：OpenAI 公布儿童安全蓝图，提供了包含年龄适宜设计原则和多方协作框架的具体路线图。
OpenAI 推出安全漏洞赏金计划，旨在识别 AI 滥用和安全风险，涵盖智能体漏洞、提示词注入和数据外泄。
推荐理由：官方公布了漏洞赏金计划的覆盖范围，读者可直接查看具体的安全风险类型和参与渠道。
OpenAI 与 Anthropic 发布了首个同类联合安全评估结果，两家机构互相测试对方模型的对齐性、指令遵循、幻觉及越狱能力。该评估凸显了跨实验室协作在识别安全挑战方面的价值及进展。
推荐理由：原文展示了跨实验室协作测试模型对齐、幻觉及越狱风险的罕见路径，读者可据此理解安全评估的新合作模式。
OpenAI 在 GPT-5 中引入新的 safe-completions（安全补全）方法，旨在同时提升 AI 响应在安全性与有用性方面的表现。该方法推动安全训练从硬性拒绝转向以输出为中心的精细化处理，专门用于应对双重用途提示。
推荐理由：OpenAI 在 GPT-5 中引入 safe-completions 方法，将安全训练重心从硬性拒绝转向输出中心，展示了处理双重用途提示的新机制。
Hugging Face 发布了一整套基于开源 LLM 实现 Constitutional AI 的端到端流程与数据集。该流程无需人工反馈，通过自定义“宪法原则”让模型自我批评和修订有害输出。基于 Mistral-7B 进行的实验表明，CAI 模型在 MT Bench 等基准上保持较高可用性，同时在 DAN 越狱测试中展现出显著更安全的响应表现。
推荐理由：提供可复现的 CAI 训练流程与开源数据集，并验证 CAI 在不损害可用性情况下提升对 DAN 等越狱攻击的鲁棒性。
OpenAI 发布了 InstructGPT 模型，该模型比 GPT-3 更擅长遵循用户意图，同时具有更高的真实性且毒性更低。InstructGPT 通过人类在环的技术进行训练，目前已成为 OpenAI API 的默认语言模型。
推荐理由：InstructGPT 将人类在环训练引入默认 API 模型，展示了提升指令遵循与降低毒性对齐的具体路径。