RLHF with PPO 的 N 项实现细节复现
Hugging Face 团队复现了 OpenAI 的 RLHF 代码库,展示了不同实现细节对模型训练曲线的影响。团队发现 PyTorch 和 TensorFlow 的 Adam 优化器在数值计算上存在差异,导致 PyTorch 的更新更加激进,影响了模型性能。
Hugging Face 团队复现了 OpenAI 的 RLHF 代码库,展示了不同实现细节对模型训练曲线的影响。团队发现 PyTorch 和 TensorFlow 的 Adam 优化器在数值计算上存在差异,导致 PyTorch 的更新更加激进,影响了模型性能。
Hugging Face 展示了如何通过 Text Embedding Inference (TEI) 在 Inference Endpoints 上部署开源 Embedding 模型。
OpenAI 宣布 DALL·E 3 在 ChatGPT Plus 和 Enterprise 中可用,并分享了关于安全缓解措施和水印溯源研究的更新。
Typeform 利用 GPT-3.5 和 GPT-4 将在线表单升级为动态和对话式数据采集体验。该升级旨在通过集成 OpenAI 模型,使表单能够以对话方式与用户交互,从而优化数据采集流程。
Retool 使用 GPT-4 为业务提供快速、安全的 AI 应用构建方式。
Hugging Face 在 tokenizer 中新增 chat_template 属性,用于存储模型训练时使用的 Jinja 聊天格式模板。由于不同聊天模型采用各异的消息格式化方式,使用错误格式会导致严重的性能下降且难以调试,该功能将格式逻辑从代码库移至模型仓库,允许用户通过 tokenizer.apply_chat_template() 自动匹配正确格式。
推荐理由:文章解释了 Chat template 如何解决格式错配导致的性能衰减问题,并给出了在 Hugging Face 生态中配置该属性以统一推理流程的具体方法。
OpenAI 宣布 ChatGPT 现具备视觉、听觉和语音交互功能。
OpenAI 宣布启动 Red Teaming Network 公开征集,邀请领域专家参与提升模型安全性。
OpenAI 发布了针对教师的 ChatGPT 使用指南。该指南包含建议的提示词、ChatGPT 的工作原理及局限性说明,并讨论了 AI 检测工具的有效性和模型偏见问题。
OpenAI 推出 ChatGPT Enterprise,提供企业级安全与隐私保护,并搭载迄今功能最强大的 ChatGPT 版本。
OpenAI 宣布与 Scale 达成合作,利用 Scale 的 AI 专业知识帮助客户定制 OpenAI 最先进的模型。此举旨在支持企业用户对模型进行微调,以满足特定业务需求。
OpenAI 宣布开发者可使用自有数据对 GPT-3.5 Turbo 进行微调,以适配特定用例。同时,相关 API 进行了更新,支持这一自定义能力。
推荐理由:原文说明开发者可用自有数据定制 GPT-3.5 Turbo,读者可据此评估其微调能力。
OpenAI 宣布收购 Global Illumination,该团队已整体加入 OpenAI。
推荐理由:收购完成并整合团队,为 AI 叙事与创意工具领域提供商业信号。
OpenAI 使用 GPT-4 进行内容政策制定和内容审核决策。这一做法实现了更一致的标签标注,加快了政策优化的反馈循环,并减少了人工审核员的参与。
OpenAI 牵头成立前沿模型论坛(Frontier Model Forum)。该新行业机构旨在促进前沿 AI 系统的安全与负责任发展。其核心任务包括推进 AI 安全研究、确立最佳实践与标准,并促进政策制定者与行业间的信息共享。
OpenAI 推出 ChatGPT 自定义指令功能,允许用户设定偏好并让模型在后续对话中记住这些设置。
推荐理由:原文说明新增功能允许用户设定偏好,使 ChatGPT 在后续对话中自动应用这些设定。
OpenAI 与美国新闻项目 (American Journalism Project) 达成一项 500 多万美元的合作。该合作旨在探索人工智能如何支持蓬勃创新的本地新闻领域,并确保本地新闻机构能够塑造这项新兴技术的未来。
Viable 使用 GPT-4 以革命性规模分析定性数据,具有无与伦比的准确性。
OpenAI 宣布设立其首个国际办公室,地点位于英国伦敦。这是 OpenAI 的首次国际扩张举措,标志着其业务版图的扩大。
OpenAI 宣布 API 模型更新,新增函数调用功能,支持更长上下文窗口,并降低使用价格。此次更新旨在提供更具可操作性的 API 模型,优化开发者体验。
OpenAI 通过赠款及其他支持措施,旨在促进防守方开发基于 AI 的网络安全能力。该计划致力于帮助安全防御领域利用人工智能技术提升防御水平。
OpenAI 训练了一个模型,通过在数学解题中奖励正确的推理步骤(过程监督)而非仅奖励最终答案(结果监督),从而在数学问题上达到了新的 SOTA。相比结果监督,过程监督不仅提升了性能,还具备重要的对齐优势,即直接训练模型生成人类认可的思维链(chain-of-thought)。
OpenAI 启动一项拨款计划,提供十份 10 万美元资助,用于资助关于制定 AI 系统应遵循规则的民主进程的实验。
OpenAI 发布 ChatGPT 的 iOS 应用,支持对话同步、语音输入,并集成了最新的模型改进。
推荐理由:原文说明 ChatGPT iOS 应用同步对话和语音输入,方便读者了解移动端功能更新。
OpenAI 团队利用 GPT-4 自动为大语言模型中神经元的行为编写解释并进行评分。该团队发布了包含 GPT-2 中所有神经元的解释和评分数据集,这些解释目前仍是不完美的。
OpenAI 更新 ChatGPT 功能,允许用户关闭聊天历史记录,从而选择哪些对话可用于模型训练。
OpenAI 推出漏洞赏金计划,以开发安全且先进的 AI。该举措旨在构建安全、可靠和值得信赖的技术服务。
OpenAI 官方为 ChatGPT 引入了初步的插件支持。这些专为语言模型设计的工具以安全为核心原则,可帮助 ChatGPT 访问最新信息、运行计算任务或使用第三方服务。
推荐理由:官方确认ChatGPT支持插件生态,明确了AI通过工具调用实时获取信息和执行任务的可行性路径。
Be My Eyes 采用 GPT-4 模型来变革视觉无障碍领域。该系统借助 GPT-4 的能力改进视障人士获取视觉信息的方式。原文未提供 GPT-4 在此应用中的具体参数规模、性能基准或可用性细节。
冰岛利用 GPT-4 开展语言保护工作。通过生成相关文本数据,该项目旨在为冰岛语创建数字资源,以维护语言多样性并确保该语言在数字时代的存续。
OpenAI发布GPT-4大模型,该模型为大型多模态模型,接受图像和文本输入并输出文本。尽管在许多现实场景中能力不及人类,但GPT-4在各类专业与学术基准测试中展现出人类水平的表现。
推荐理由:原文给出GPT-4的多模态定位和基准表现描述,读者可据此判断该模型在专业场景中的能力边界。
Khan Academy 通过有限试点项目探索 GPT-4 在虚拟课堂教育中的应用潜力。该项目旨在测试模型支持辅助教学或个性化学习等具体场景的可能性,尚处于初期试验阶段。
GPT-4 通过深入对话填补 Duolingo 平台上的语言学习缺口。该功能增强了 Duolingo 的互动式学习体验,利用大语言模型能力提升用户的学习效果与参与度。
GPT-4 能够生成、编辑并迭代创作及技术写作任务,例如谱曲、编写剧本或学习用户写作风格。
OpenAI 宣布将澄清塑造 ChatGPT 行为的机制,并计划改进其行为表现。未来将允许更多用户自定义功能,并在相关决策中征求更多公众意见。 ```json { "title_zh": "OpenAI:ChatGPT 行为准则、自定义与公众参与机制说明", "summary_zh": "OpenAI 宣布将澄清塑造 ChatGPT 行为的机制,并计划改进其行为表现。
OpenAI 为 ChatGPT 推出试点订阅计划 ChatGPT Plus。该服务支持 AI 进行对话、回答追问并挑战错误假设。
推荐理由:原文给出了试点订阅服务的基本能力,用户可据此判断付费功能在对话交互上的具体变化。
OpenAI 发布了一款新的分类器,用于区分 AI 生成文本和人类撰写文本。
本文综述了构成 ChatGPT 等对话代理核心的技术术语,包括 RLHF、IFT 和 CoT。文章对比了 Google LaMDA、Meta BlenderBot 3 等模型的参数规模与数据细节,指出指令跟随能力主要依赖指令微调(IFT)。 为解决模型生成不安全回复的问题,开发者在 IFT 后引入监督微调(SFT)以增强安全性。
OpenAI 与 Microsoft 宣布延长双方的合作伙伴关系。
OpenAI 与乔治城大学、斯坦福大学合作发布报告,分析大语言模型被滥用于虚假信息活动的风险。报告基于 2021 年 10 月 30 人研讨会成果及逾一年研究,提出威胁分析与缓解框架。