Jev作为财务证据判决器的压力测试:同数值引用交换
研究通过控制操作数与算术运算,测试Jev作为GPT-4.1-mini财务计算追溯验证器的表现,揭示同数值引用交换下的角色识别问题。 实验包含36个新源页面的构建后续测试,通过非作者审核员标记,暴露了角色错误检测与有效引用保留之间的权衡,使数值正确性、引用角色支持和接受结果可独立评估。
研究通过控制操作数与算术运算,测试Jev作为GPT-4.1-mini财务计算追溯验证器的表现,揭示同数值引用交换下的角色识别问题。 实验包含36个新源页面的构建后续测试,通过非作者审核员标记,暴露了角色错误检测与有效引用保留之间的权衡,使数值正确性、引用角色支持和接受结果可独立评估。
研究发现,在意大利语伪词强制选择实验中,五个大语言模型未展现出与人类相当的亚词汇敏感性。 模型仅在实词提供词汇熟悉度线索时比人类更可靠,而在纯伪词条件下表现大幅低于 fastText 模型。 研究指出,驱动人类-模型一致性的人类亚词汇余弦相似度线索未能稳定迁移至大语言模型,且推理 token 消耗与人类处理难度无一致关联。
静态词嵌入在四个已发表案例中支持线性解码,其性能下界接近 LLM 表现,具体包括预测坐标和死亡年份的 R^2 达 0.42-0.59,以及分类情绪的 AUC 达 0.84-0.88。 这些结果基于固定分布关联,而非动态世界模型;在复现 Llama-2 结果时,静态向量匹配 Pythia-2.8B 坐标和 Llama-2-7B 年份预测,表明可解码性无法区分属性表征与已有词关联。
评估了一种结合大语言模型与程序化规划器的“先探索再承诺”协议,用于实现测量高效的科学定律发现。 在576次NewtonBench试验中,启用解释器的规划器使GPT-4.1-mini和GPT-4.1的单次测量数分别从22.5降至8.6、从43.0降至8.9。 该协议在测量效率上表现良好,但符号准确性收益不稳定,且无噪声任务外的泛化能力仍未解决。
审计发现 Falcon-E、BitCPM 和 BitNet 2B-4T 的导出管线将潜在权重转为 bf16 后,与 fp32 量化结果在 0.83% 至 1.77% 的代码上存在不一致。 该不一致源于 bf16 舍入恰好落在阈值上,导致部分代码被映射为零;修正措施可恢复模型在 GSM8K 等基准上的准确性。
研究证实,记录在初始裁决前的残差流激活能有效预测 LLM 裁判因候选回答顺序变化而产生的立场翻转,避免了双倍评测成本。 在 JudgeBench 数据集上,针对 Qwen3 和 Llama-3.1-8B 的线性探针 AUROC 达 0.621-0.850,较非激活基线高 0.062-0.113。 该方法无需针对 MT-Bench 重新校准即可实现泛化,证实了预裁决激活在监测模型偏好偏差上的有效性。
Sam Altman 表示 OpenAI 正进入新的发现时代,并链接至官方关于在数学领域分享 AI 进展的页面。
Jump Trading 利用 OpenAI 提供的 ChatGPT 扩展其量化研究规模,并通过结合长时 AI 工作流实现多数据源整合与人工审查的结合。 该方法支持长时运行的 AI 工作流,能够将多个数据源与人工审查环节相融合,提升量化研究的效率。
OpenAI 发布由内部前沿模型产生的广泛新数学成果,并声明参考了高等研究院独立数学与人工智能顾问组的建议及公开建议来确定发布方式,相关结果发布于 GitHub 仓库 openai/math。
推荐理由:原文说明了发布渠道和咨询独立数学顾问组的过程,读者可据此了解AI生成数学成果的披露方式。
OpenAI 旗下模型解决了若干重要数学问题,团队在博客中记录了这一过程。
同一新闻,精选展示《OpenAI 发布内部前沿模型产生的新数学成果》
OpenAI 发布 Decisions API 公开测试版,该 API 使决策速度比通过 Responses API 调用 GPT-6 Luna 快 10 倍。开发者可让应用以近实时方式自动选择模型、工具或行动。
OpenAI 推出 ChatGPT 的 Meetings 插件,可在 macOS 桌面端为 Pro 和 Business 用户提供会议记录功能,并基于用户和过往协作自动生成个性化摘要及下一步行动。用户可保留私有笔记或与团队共享,随后要求 ChatGPT 更新项目计划或起草后续跟进。企业版即将上线,插件可在 ChatGPT 桌面应用的插件目录中搜索“Meetings”获取。
推荐理由:OpenAI 官方为 ChatGPT 桌面端引入 Meetings 插件,让会议记录直接对接 ChatGPT Space,方便团队生成摘要与跟进。
第 2.2 天/ 这一次内容较少,但我们移除了基于 API 构建时的一些摩擦。祝大家构建愉快。
OpenAI 与 Ironclad 通过训练和评估 AI 智能体处理复杂合同流程,以推动专业工作中的计算机使用能力。 该项目重点在于解决专业垂直领域的工作流挑战,展示了 AI 在高风险、高复杂度文档管理中的实际落地路径。
Atlassian 与 OpenAI 扩大合作伙伴关系,将前沿模型与企业知识连接,帮助团队规划、构建和交付工作。
OpenAI 面向所有通过 ChatGPT 账户签入的用户免费开放了 Auto-review 功能,用户可在 settings > permissions > auto-review 路径下手动开启。该功能通过部署第二个智能体自动审查主智能体的操作,以防范高风险或不合意图的指令,且不占用用户的套餐用量。
PDB 框架显示 GPT-5.1-Codex 和 DeepSeek-V3.2-Thinking 精准度低于 45%。 该模型单元测试通过率超 76%,即使提示最小化仍会过度编辑。 迭代和智能体策略未显著提升精准度,凸显代码模型后训练管线需重构。
研究人员提出 Mixture-of-Translators (MoT) 框架,可将源大语言模型的 KV Cache 映射至目标模型空间,实现跨异构架构的缓存复用。
基于响应的知识蒸馏在多语言越狱防御中应用时,反而推高了学生模型的越狱成功率,最高增加 16.6 个百分点。 研究使用 OpenAI o1-mini 作为教师模型,通过 LoRA 蒸馏至 Meta-Llama-3-8B-Instruct、Gemma-2-2B-IT 和 Qwen3-8B 等开源模型,并移除导致安全退化的“边界”拒绝数据以缓解或逆转问题。
语言模型隐藏状态中的答案正确性可恢复为几何方向。基于 50 个标注样本在约 70% 模型深度计算的平均位移方向,在 ARC-Challenge 和 MMLU 事实基准上比零样本对数概率评分高至多 32.0 个百分点,在 TruthfulQA 上高 38.1 至 51.8 个百分点。
一篇 arXiv 论文提出"停止"是制度实践而非纯技术产物,并沿技术可供性、中断权限、认知触发与认知地位四个维度构建停止理论。对约 1400 起 AI 事件(保留 1213 起)的编码显示,约 80% 未发生停止;在可停止却未停止的案例中,信息、经济与社会危害多因法律要素缺失,物理危害与智能体系统则多因技术要素缺失。
双重差分法在评分尺度有界时无法识别潜在尺度上的偏好差异,严重度偏移会导致观测交互效应。 预注册审计 990 次调用中,事后构造表明仅凭尺度下限即可复现 79% 至 85% 的名义显著交互效应。 结果证明观测交互效应不能识别潜在尺度上的差异化偏好,已被 NeurIPS 2026 收录。
研究者提出 UnivEARTH 编码基准,用 408 道来自 NASA Earth Observatory 的是/否问题测试 LLM 智能体能否可靠完成地球观测任务,覆盖 7 个主题、超过 15 种卫星仪器与数据源。
该研究提出 DECIDE/ASK/DEFER 框架,在 200 个临床证据状态下评估 Qwen、Gemini 和 GPT。 模型在相同证据下的行动选择存在显著差异,200 个状态中有 137 个出现分歧。 结果表明,将信息获取与临床医生移交分离,揭示了二元弃置(abstention)隐藏的行为模式。
研究将五个模型接入 Claude Code、mini-SWE-agent 和 OpenCode 三个 Harness 跑 SWE-bench Verified,发现相同模型下 Harness 重跑与切换 Harness 造成的结果翻转率均为 13%,且性能差异基本在噪声范围内,OpenCode 最多落后 9 点。
PIT-GCL 是一个双塔结构感知框架,在 PPIRef 一般 PPI 和 PPB-Affinity 上优于代表性基线,且在 PPB-Affinity 上是唯一超越随机水平的方法。
OpenAI 为满足 EU AI Act 要求,将在数周内在 EU 对 ChatGPT 和 Codex 中符合条件的文本启用水印,现有工具可验证图像或音频是否由 OpenAI 模型生成,API 用户今日即可在全球范围开启部分模型的文本水印功能。
Claude Opus 5.5 和 Claude Sonnet 5.5 登陆 AWS GovCloud (US),为 ITAR 等合规场景提供 AI 辅助开发通道。
Day 1/ 我们通过 Sign in With ChatGPT,优化了 GPT-6 Astra 和 GPT-6.1 Sol 在订阅服务中的默认速度,在 OpenCode、Pi、Amp、Devin 等使用 Sign in With ChatGPT 的所有产品和合作伙伴中,速度提升了约 50%。 您无需进行任何更改,预计未来两小时内即可感受到这一变化。
OpenAI 阐述在欧盟规则下实施文本水印的技术路径。水印应用于生成内容,检测机制面向研究人员开放。 该方案明确了欧盟法规对 AI 生成文本溯源的技术要求与落地方式。
OpenAI 在 ChatGPT 中引入新的视觉广告格式,并扩展了广告衡量工具、归因合作伙伴关系和品牌适配性,以适应用户通过 AI 获取信息的场景。
推荐理由:原文介绍了ChatGPT新增视觉广告格式及衡量工具,为广告主提供了新的投放与归因路径。
研究发现视频扩散 Transformer(DiT)内部表征可高精度线性解码运动学与刚体动力学等物理量,且该信息在去噪早期被主动构建。 相关物理信息集中存储在目标物体 token 激活中,单帧潜变量即可读取多帧物理量,且探测方向可作为引导向量改变模型输出。 探针展示了部分外推能力,能迁移至训练分布之外的场景与物体配置。
研究人员提出 OMVV(在线多验证器验证)算法,用于在成本约束下在线验证大语言模型响应。该算法维护一个包含 K 个候选弱验证器的池,通过在线分数组合器和指数权重路由策略自适应地路由每个决策,提供了分布无关的有限时间保证。实验表明,与任何单个固定验证器相比,OMVV 在一系列操作预算下以更低验证成本实现了更高准确率。
研究提出语言模型智能体机器(LAM)抽象,量化 LLM 智能体框架在通信、访问、重计算和可靠性方面的计算成本。 LAM 执行与红蓝弹球在下界上等价,$\Theta(n)$ 随机与非推测顺序访问间隔,bit-reversal DAG 需 $\Theta(n^2/(C+S)+n)$ 模型调用。
研究团队通过训练具备调用自身及读取上下文工具的智能体框架,微调了 Qwen3.6-35B-A3B 模型。在 OOLONG-synth 基准测试中,该模型仅使用 8,000 tokens 上下文,在文档长度超过 40K tokens 时,性能与拥有 1M tokens 上下文的 GPT-5.4 相当。
一项包含504名参与者和2438项判断的人因研究发现,现代大语言模型生成的文本常难以与人类写作区分,且长期暴露于假新闻会导致检测率下降10.2个百分点,而AI来源检测保持稳定。研究利用适配的网络杀伤链对认知攻击生命周期中的感知数据进行了映射,识别出主动防御的干预点,指出高度怀疑情绪并未提升虚假信息的检测准确性。
研究提出 PlaytestArena 评测环境和 Play2Code 生成框架,用于通过 GUI 智能体迭代改进游戏生成。Play2Code 在三个前沿模型骨干上实现 66.8% 的评分标准通过率,比单通基准高出 37.1 个点。
该研究首次系统分析 AI 智能体在编程任务中的 Token 消耗模式。分析八种前沿 LLM 在 SWE-bench Verified 上的表现发现,智能体任务 Token 消耗是代码推理的 1000 倍,且 Kimi-K2 比 GPT-5 多消耗 150 万 Token。研究发现模型难以预测自身消耗量,相关系数仅 0.39,且高 Token 消耗并不必然带来更高准确率。
该研究提出了“意图-执行”间隙概念,指出 AI Agent 性能受限于模型假设与执行框架(harness)行为的匹配度。研究开发了可定制框架 Simple Strands Agent (SSA),旨在捕获跨模型族的通用模式及特定偏好。
summary_zh: arXiv 论文提出 Causal-Plan-Bench 基准及 Causal Planner 模型,旨在区分语言序列预测与物理因果推理。