GPT 等 24 款 LLM 的中文训练数据污染推测研究
研究通过微调 LLM 构建检测器,推测 GPT 及另外 23 款 LLM 的中文训练数据污染情况。实验显示 GPT 词表中超 40% 长中文 Token 涉及色情或赌博内容,并推测 GPT-4o 训练数据中特定网页占比约 0.5%。
研究通过微调 LLM 构建检测器,推测 GPT 及另外 23 款 LLM 的中文训练数据污染情况。实验显示 GPT 词表中超 40% 长中文 Token 涉及色情或赌博内容,并推测 GPT-4o 训练数据中特定网页占比约 0.5%。
Tool Recommendation 系统通过固定接口为智能体提供全部工具,弥补单工具缺失导致的多步任务失败。 在 ToolRet 基准测试中,其 Top-10 工具召回率比 BM25 高 57%;在 Codex 会话中,首轮推荐覆盖所有必需工具的比例达 93%。 采用该系统可将输入 token 减少 17% 至 40%,并降低总账单费用,且不影响任务完成率。
研究者构建仅基于 1976 至 1995 年文本预训练的 NoLBERT,通过对比微调生成新闻主题,以消除回测中的后见之明偏差。 该模型在 2012 至 2024 年间 126 万篇新闻上表现稳定,预测精度与 LDA 相当,但在各调仓频率下最优模型均亏损,等权组合月净 Sharpe 比率为 1.12。 此方法验证了无标签新闻特征在量化金融中的适用性,尽管未显著跑赢纯价格基准。
研究团队提出包含 1,632 项任务、覆盖 5 个领域的 GlobeBench 基准,用于测试模型预测环境对动作响应的能力。 在 20 个 LLM 和文本世界模型中,GPT-6 Astra 以 49.57% 的成功率居首;但当动作影响环境大范围时,准确率降至平均 5.1%。 目前仍有 631 项任务无模型能解决,表明通用 LLM 作为世界模型仍存在显著能力差距。
研究发现 LLM 在生成 Lean 规范时引入交互式澄清智能体(EA)效果不一:同模型 Claude Sonnet 4.6 在 k=3 和 k=10 澄清预算下 strict pass@1 估计为负。
提出基于胜任力评估(CBE)范式,以参数化生成器固定核心能力、变换呈现形式,量化 LLM 逻辑推理泛化性能。 在 GPT 和 Qwen 六款模型测试中,强模型在复杂任务族下仍无法满足胜任力条件;引入 CoT 和 GRPO 可部分缓解,但 LoRA 微调泛化有限。
研究发现 Llama-3 模型从 AdamW 切换至 Muon 优化器几乎无显著性能惩罚,且 Muon 比例增加通常提升 SFT 后的下游性能。 该结论基于 1.2B 模型预训练及 14B 规模 Llama 和 Qwen 模型的持续预训练与 SFT 实验,结果显示后训练优化器选择可独立于预训练优化器。 该研究已被 NeurIPS 2026 研讨会接收,为优化器跨阶段迁移提供了系统性实证依据。
研究评估了 GPT-6 Astra、Claude Opus 5.5 等五个前沿 LLM 预测 ML 实验结果的能力,发现预测远非精准,最佳模型 Claude Opus 5.5 仅能解释结果方差的 49%(R^2 = 0.49)。
Day 12/ 我们对 Codex & Work 进行了改进,提高了有效使用量。我们通过跨子智能体(subagents)复用上下文、延长上下文缓存时间以及改进请求路由以增加缓存命中率来实现这一目标。
ChatGPT 中的 GPT-6 Astra Pro 升级后响应速度更快,插件和工具的使用效果得到改进。升级支持多个智能体并行处理任务的不同部分,用户可跟踪每个智能体的进度并打开已完成任务复核结果。该功能现已向 Chat 标签页中的 Pro 用户开放。
推荐理由:ChatGPT 中的 GPT-6 Astra Pro 支持多智能体并行处理任务,Pro 用户可直接在 Chat 标签页查看各智能体进度并复核结果。
两名工程师利用 Codex 在数周内开发了 Stack Overflow for Agents,其 ChatGPT 插件驱动注册量实现三倍增长。 ChatGPT 插件进一步带动智能体创建量最高增长 10 倍。
很高兴看到 Nick 发布这条消息! 引用式 teaser 例外:若主推文几乎没有信息量(纯感叹 / 转发 / 号召,如「Go build!」「活久见」),而下面这条引用推文才是真正的新闻,则 body_zh 改为用一两句话概括【引用推文】的核心要点,让正文和标题对得上(别只输出一句空洞的主推文),可在结尾带一句主推文的简短反应;其余情况仍然只翻译主推文。 @nickcammarata(仅供理解上下文;按上面的「引用式 teaser 例外」判断要不要概括它): 可解释性可能是目前世界上最重要的科学问题,因为如果我们不知道自己正在构建什么,就不可能解决对齐问题。我认为我有关于它的利好消息。我曾在 OpenAI 合作撰写早期机制可解释性研究,当时对此持悲观态度,因为神经网络似乎会折叠成任意纠缠的结。多年后,我启动了 OpenAI 第一个大规模自动化可解释性项目,使用当时已有的基础工具,发现约 2% 的神经元具有可读性。 随着现代智能体工具的应用以及更深入的观察,情况看起来完全不同。在参数高达数万亿的模型中,绝大多数神经元都是可读的,且其电路结构美观。许多著名的纠缠神经元案例被证明是误解。我原本预期的阻碍大部分并不存在。我现在认为,富有野心的可解释性将在我们最需要它的时候得到解决,甚至可能很快,因为自动化科学家工具不断在改进。这或许是可解释性领域的“苦涩教训”:简单的东西,在极端规模下,行得通。 https://already-clean.goodfire.com/
阿里云支持中粮集团一线员工自主开发覆盖全产业链的 AI 应用,已用于粮食生产与全球贸易场景。 技术团队结合千问办公与卫星遥感技术构建农业投研模型,预计年省 495 万元;利用千问 VL 将厂区安全监控误报率降至 5% 以内;部署 Qoder 平台将贸易单据处理时间缩短至 5 分钟。 该合作标志 AI 从专业工具走向日常岗位,推动中国农业引入新质生产力,实现更多创新成果的规模复制。
研究证明大语言模型无需额外训练数据,即可通过姓名推断族裔,准确率最高达84.7%,超越BISG模型的68.2%。 测试涵盖Gemini 3 Flash、GPT-4o及DeepSeek v3.2等六款模型;开启扩展推理可提升1-3个百分点准确率。该方法显著降低BISG中存在的收入偏差,使富裕地区少数族裔被误判为白人的比例下降。
研究提出符号化机制数据归因(SMDA)框架,通过稀疏自编码器特征和岭回归分析 Llama-3.2-3B-Instruct 的 200 个 SFT 数据对,归因训练数据对模型行为策略的影响。 移除关键数据对后,重新微调的准确率比完整微调最多提升 4.5 个百分点。 该方法结合机制可解释性与数据归因,提供比黑盒影响函数更精细、比手动电路分析更可扩展的诊断工具。
Life-Harness 提出一种不修改模型权重或评测环境的运行时框架,通过演化的干预机制提升冻结 LLM 智能体在确定性任务中的表现。 在 8 个环境、18 个开源基座模型上验证,Qwen3-4B-Instruct 平均准确率较 Meta-Harness 和 AHE 分别提升 28.7 和 7.5 个百分点,且优化 token 消耗分别降低 8.5% 和 68.4%。
AI Consilium 基准利用 300 个 NEJM-MedQA 病例,评估 8 种单模型管线在临床多学科会诊中的表现。 LLM Judge 评价 3,040 份最终报告。GPT-5.6-Sol 在各项指标中领先,且达成一致共识所需审查轮数最少。 该基准能区分模型能力、多学科综合贡献及不同响应结构对临床推理的具体影响。
研究表明 Claude Opus 4.8 等前沿模型直接逆向工程 protobuf 模式时存在大量错误,不适合法证分析。 然而,利用 Claude 编写的 Python 工具 Extractor 能可靠恢复模式,并通过已知答案及网络测量验证了其在 iOS 16.7.11 上的有效性。 这证实了 AI 在可验证输出场景下作为工具构建者的实用价值。
研究团队发布 Screwtape 管线,通过 LLM 编辑真实 Agent 转录来生成能绕过 action-only 监控的攻击。 该管线在 252 次运行中生成 35 个通过验证的攻击,其中 6 个经人工确认有效并成功规避前沿开发者的保留监控。 监控者可利用这些攻击修复盲区,评估者则可将其作为安全声明的反例。
研究通过对比Codex智能体在ARC-AGI-3、AGI Maze和Terminal-Bench上的表现,发现仅修改指令以鼓励报告困难并允许自动继续,能显著提升前两项任务平均分,但通用智能体仍低于特定参考模型,包括使用GPT-5.6-sol的情况。
Data World引擎基于明确机制合成环境、任务与评分标准,并通过独立审计验证目标可恢复性。该引擎生成了1,037个独立世界和2,135个训练任务,并构建包含100个任务的DataWorld-Bench基准。
研究人员提出STOPD方法,通过随机截断学生模型的生成轨迹并采用逆概率加权,有效降低了在线策略蒸馏的计算成本。 该方法减少了25-48%的token生成量,实现了1.3-2.2倍的训练速度提升,且准确率与完整轨迹蒸馏相当。
研究人员提出 Update-Matched Unlearning (UMU),旨在让持续微调的大语言模型在删除指定知识后,既抵抗旧知识重学,又保留学习新任务的“可塑性”。
研究显示,增加思考时长会使推理模型倾向于字面解释,取消“some”(并非全部)和“or”(并非两者都)的隐含意义。 该现象在多种开源推理模型及 GPT-5 中普遍存在。机制分析表明,模型先理解丰富含义,随后在后续推理中将其消除。 基于早期解读回答的推理时补救措施,可在不损失字面准确性的前提下恢复这些隐含意义。
研究人员提出 LITTLE DRAGON 方法,通过监督微调与强化学习训练 8B 参数小模型生成及优化 GPU 编译脚本。该模型在 102 个构建任务和 170 个优化任务中,性能优于 GPT-6 Astra 等六个前沿大模型,单次正确率达 91.27%。
研究团队发布开源系统Athanor,让四个Claude Opus 5.5智能体在104小时内自主完成对Qwen3-4B-Base模型的后训练,通过SFT、RL和权重合并等已知方法的重组。
推荐理由:展示四个前沿Agent协作自主微调小模型的完整过程,验证了Agent自主科研能力的现实边界。
研究团队发布MAI-Gym平台,统一了移动端、电脑和网页环境的GUI智能体评测、数据采集与在线强化学习训练。基于该平台训练的9B模型MAI-Gym-9B在MobileWorld和OSWorld-Verified基准上分别达到78.4%和76.2%的成绩。研究表明,在模拟订票应用中进行强化学习可迁移至真实环境,将物理手机上的任务成功率从28.8%提升至48.1%。
大型语言模型智能体在持续变化的环境中可能因延迟而失效。论文提出RealtimeBench基准,包含180项任务,评估智能体在游戏持续运行时的表现;并提出TORSI方法,通过慢教师与快学生协作提升智能体得分。
该论文提出了一种针对支持DPO(直接偏好优化)微调的LLM的新型越狱攻击方法。作者证明,仅使用10对无害的偏好数据(即正常有益回答优于拒绝回答),就能在OpenAI等模型中广泛抑制拒绝行为。
研究者提出双阶段基准 Doc2Harness,用于评估大语言模型构建编码智能体“框架”(harness)的能力,而非仅测试下游任务成功率。 基准在 19 个前沿模型上运行 328 个测试用例;GPT-6 Astra 通过率最高为 53.05%,最弱模型仅 27.44%,且失败多集中在跨模块功能划分上。 这是首个针对长时程框架工程的确定性基准。
基于网络共识游戏评估六款开源LLM和ChatGPT 5.6-sol的共识机制。研究发现,开源LLM仅在全局网络通信下达成共识,表现弱于人类。 ChatGPT 5.6-sol具备较低固执性和较高从众性,即使在仅与邻居通信或无通信时也能达成共识。但高聚类图会阻碍共识形成。系统设计与模型特征共同驱动集体结果。
GPT-5.6 Sol 等在简单紧急任务中常优先保护主体而非避免物理损坏,该现象被称为 Protection Mode。 研究使用 285 条提示词和 9 个模型进行测试,发现 Sol 最低推理力度下 34.74% 的响应优先保护主体,MiniMax M3 和 Qwen3.5-27B 超过 83%。
研究提出 GraceBench 框架,利用 UI 转换图(UTG)对移动 GUI Agent 进行步骤级执行稳定性诊断。 GraceBench 包含 169 个任务、10 个应用及 2,909 个 GUI 状态,涵盖 3,718 条轨迹,指标包括偏差率与恢复能力。 评估显示 GPT-5.6 Sol 成功率最高但恢复能力最低,51.24% 的成功轨迹包含偏差或循环。
DeLoop 提出一种自监督训练方法,利用智能体自身轨迹中的循环动作作为负例、首个非循环动作作为正例,通过直接偏好优化减少长程任务中的无效重复。 在 Qwen3-8B 模型上,DeLoop 将 CodeGym 压缩场景下包含循环动作的任务比例从 57.3% 降至 6.1%,且任务成功率相近的情况下步骤数减少约三分之二。
OpenAI 与 Sullivan & Cromwell 合作开发了 Agreement Analyzer。 该工具利用 AI 技术识别协议草案中的问题。
新音色、更地道的口音、更少的“加载中”等待。OpenAI 为 ChatGPT、Codex 和 Dots 的语音功能更新了 GPT-Live-1.1,新增法语、德语、印地语、墨西哥西班牙语、韩语和日语音色,今日向所有用户推出,API 即将上线。 反应:Bonjour。
Localiza 通过 ChatGPT Enterprise、OpenAI API、Codex 及 60+ 专业智能体重组工作流,构建 AI 原生移动体验。 具体方案集成了多种 OpenAI 工具与自动化智能体系统,支持日常运营与体验创新。
集团 Boticário 利用自有 agent 平台强化销售团队的人际连接,该 AI 系统可自主解决高达 80% 的经销商运营请求。 平台让销售人员从处理事务性工作中解脱,从而能够承担更具深度的咨询角色。
Anthropic 承诺投入 500 万美元资金、算力及 Claude 访问权限,支持数学家探索 AI 在科研中的最佳应用路径。 该计划由 Simons 基金会管理,通过社区驱动方式资助工作坊、会议及专家讲座。 此举旨在帮助数学界应对 AI 带来的巨大变化,推动科学进步。
OpenAI 发布 Rosalind 学术计划,为符合条件的实验室提供 GPT-Rosalind 及工具的赞助访问权限。 该计划旨在帮助科研团队推进生命科学领域的基础研究。