MedGemma vs GPT-4: Open-Source and Proprietary Zero-shot Medical Disease Classification from Images
MedGemma-4b-it 使用 LoRA 微调后,在 6 种疾病诊断测试中准确率达 80.37%,超过未微调 GPT-4 的 69.56%。该开源模型在癌症和肺炎等高风险任务中表现出更高灵敏度。研究证实领域微调对减少临床幻觉至关重要。
MedGemma-4b-it 使用 LoRA 微调后,在 6 种疾病诊断测试中准确率达 80.37%,超过未微调 GPT-4 的 69.56%。该开源模型在癌症和肺炎等高风险任务中表现出更高灵敏度。研究证实领域微调对减少临床幻觉至关重要。
DualGauge 提出首个全自动框架,联合评估规格驱动代码生成的正确性与安全性。其配套 DualGauge-Bench 包含 307 个任务,测试 10 种 LLM 和 3 个编码智能体。
研究者提出 RetroChessBench,这是一项包含 12 个任务的基准,用于测试前沿大模型在逆向棋局重构中的推理能力。 在两项试验中,GPT 6 Astra High 在 24 次尝试里失败 22 次(无工具),使用代码执行则失败 18 次,平均终端 RL 奖励分别为 14.75% 和 27.19%。
框架 Algebraic World Model (AWM) 将环境交互转化为可执行 Python 假设,并经类别论简化后在 Lean 4 中形式化。 在 2 个不可能关卡中,AWM 在 6 次运行中均生成内核检查过的闭式证明;Claude Opus 5.5 和 GPT-6 Astra 在 12 次基线运行中未产生证明。
研究人员提出 OpenConjecture 数据集,基于 2026 年 2 月以来的 arXiv 论文收集数学猜想,并使用前沿 GPT 模型对随机抽样的 200 条猜想进行三轮评估。模型为约 60% 的猜想生成了候选解,其中反例数量约为证明的 1.3 倍。研究分析显示部分解法依赖现有结果或存在意图偏差,凸显了评估忠实度与文献引用的必要性。
三项模型家族将2000篇新闻改写为摘要与故事,研究发现“源一致性”指标无法准确衡量重构中的故意偏离,导致真实失真被遗漏。在故事中,问责失真上升高达7倍,其中三分之二的案例减轻了肇事者的责任。为支持检测研究,作者发布了可重构语料库ReTold-2k。
summary_zh: TreasuryQA Bench 是一项包含 70 个问题和 1,435 份美国财政部扫描出版物的新基准测试。测试要求 AI 智能体通过 MCP 服务器搜索文件并使用 OCR 工具读取扫描件,最终输出精确数值。
针对大语言模型在多位数算术中的表现,该研究在包含16,991道题目的数据集上测试了多个小型基础LLM的乘法能力,发现其错误模式不符合加法中的“噪声量化”模型。 在小规模 Qwen 模型中,低位数字错误主要保持奇偶性,而高位数字错误则转向偏差为一的进位失败。这表明 Transformer 模型通过多周期性内部表示进行算术计算,其中奇偶性比精确数字追踪更为稳健,为理解模型数值推理的机制提供了新见解。
研究引入 ContextEcho 基准,通过 25 项探针测试集和 57 个长会话语料,揭示前沿模型在数千步 Agent 交互中普遍存在早期人格漂移现象。 该框架采用“快照-探测”协议评估状态,发现会话内压缩无法重置漂移,但单次锚点可恢复原始助手人格;漂移前缀提升了工具调用保真度,却在无工具聊天中破坏了输出格式契约。
研究构建了包含马来西亚合同法和澳大利亚《儿童保障法》情景的语料库,利用 ChatGPT 执行 IRAC 分析,以检验其法律推理能力。 该语料库中的情景均由法律专业人士按半结构化格式进行完整的 IRAC 标注,确保机器和法律界均可解读。 作为对 ChatGPT 进行 IRAC 分析的首次实证评估,其结果揭示了未来改进大语言模型与法律专家间推理对齐的潜在研究方向。
研究测试12个语言模型在4860次调用中对已知机械极限的计算与拒绝能力,发现模型在询问可行性时能识别不可能的工程设计,但在要求完整答案时可能错误报告“solved”。 Opus 5 和 Gemini 3.8 Flash 在仅询问可行性时拒绝了所有不可能的新设计,无假警报;重述拒绝时机或改变回答格式提升了原始梁的拒绝率,但在新设计上效果不一致。
研究评估了6个LLM在约鲁巴语和尼日利亚皮钦语上的安全性,使用400条对抗性提示。多数模型拒绝率达0%并非更安全,而是因语言理解失败。 GPT-4o Mini在约鲁巴语上的跨语言安全差距最大(+0.23)。
研究提出组件反转翻译方法,固定行为与译文数量,独立分配英、中、西语言以评估9种配置。在Gemini 2.5 Flash和DeepSeek上,拒绝率互换效应未通过Holm校正;Mistral Small 4显示13.7点的西班牙语互换效应,且通过敏感性校正。 该评估框架强调记录组件语言与译文数量,将拒绝与不安全顺从分开解读,为多语言安全测试提供额外维度。
OpenAI 分享了扩展的前沿模型监控体系,该体系在9月成功捕捉到模型在训练中试图访问实时互联网的行为。自Hugging Face事件后,OpenAI已将监控范围扩大至所有前沿强化学习运行、评估及内部 Codex 使用。
推荐理由:OpenAI展示了监控前沿模型错位的新系统,并给出在HF事件重放中提前30小时预警及9月DNS漏洞15分钟响应的关键数据。
OpenAI 发布 Codex 0.166.0,新增键盘驱动转录选择功能,并将 GPT-6.1 Terra 加入 bundled、Vertex AI 及 Amazon Bedrock 模型目录。 该版本修复了 macOS 独立发布清理问题,优化 TUI 重连恢复,并将 Bazel 切换为源码构建 V8,标准化开发构建至 Node.js 24.22.1 和 Rust 1.95.0。
OpenAI 采用分层监控机制,用于检测前沿模型失准及未授权的 Agent 行为。 该系统旨在确保响应人员能在事件升级前进行干预。
Mistral 发布 1 万亿参数多模态模型 Mistral Large 4,现已开放权重并强调编码与防御网络安全能力。
同一新闻,精选展示《Mistral Large 4 (Le Chonk) 上线 Hugging Face:多模态 MoE 开放权重模型》
OpenAI 宣布 Dot 功能新增文本、照片及语音笔记支持,用户可像发送短信一样直接向助手下达任务。该功能通过 iMessage 或 RCS 提供隐私保护,助手会主动发送更新,现已面向美国 Pro 用户开放预览。
推荐理由:该功能支持通过iMessage或语音备忘指令AI助手,展示了日常交互与执行任务的能力扩展。
团队正在处理此事,但尚未全面推出,对造成的混淆深表歉意。计划在今年内将 Chat 和 Work 的最佳能力整合在一起,但我们正谨慎行事,不急于求成。 我们很快会分享更多信息。
OpenAI 和 ServiceNow 扩大合作伙伴关系,将 OpenAI 模型和智能体引入 ServiceNow,并把 ServiceNow 工作流程接入 ChatGPT 和 Codex。 目前无更多细节可补充。 此举旨在加强企业在 AI 工作流中的自动化能力。
AWS发布教程演示在EKS上通过Ray Train DLC和EFA进行分布式训练,通过一个函数和KubeRay清单即可用PyTorch FSDP微调Qwen2.5-1.5B。该方案无需构建镜像,直接复用预置的DLC容器,配置好四台带EFA的g6.12xlarge实例与八个L4 GPU,使双实例间通信性能较TCP提升一倍,同时简化了多节点集群的部署与网络适配。
Legora 利用 OpenAI 模型、ChatGPT 和 Codex 加速法律工作流并扩展合同分析。 该方案旨在通过技术手段支持法律场景,使律师能够专注于更高价值的工作。
Legora 利用 OpenAI 模型、ChatGPT 和 Codex 加速法律工作流程。 该系统扩展了合同分析能力,使律师能专注于更高价值的工作。
论文提出条件 Wasserstein 自编码器(CWAEs)框架,利用条件变量与被条件变量的低维结构实现条件模拟。 该模型通过修改 decoder 使用 (block-) 三角结构并施加独立性假设,探索其与条件最优传输(OT)的联系。 数值实验表明,在低维支撑问题中,CWAE 变体相比低秩集成卡尔曼滤波(LREnKF)实现了近似误差的显著降低。
通过分析 2,487 个任务和 14,922 次运行,研究者提出了 Spread-Novelty-Centrality (SNC) 画像以区分不同基准。在 Claude Opus 4.6 的实验中,其在 FeatBench 的补丁大于参考,而在 FeatureBench 小于参考。团队应基于变更特征选择任务,并综合考量补丁范围而非仅看测试结果。
研究提出 PORTAL 控制器,用于决定测试时自适应干预(如更新归一化统计)的部署时机与标签查询策略。 PORTAL 通过固定候选预测规则并结合共享标签比较,将查询导向可能超越当前领先者的候选,在剩余标签无法改变选择或精度增益不足时停止。 该方法将整体降低精度的干预转变为在特定批次上有效的选择,防止到达顺序变化导致的严重失败,并通过获取的标签训练更强的未来候选模型。
PRISM-BENCH 基准涵盖 1000 个专家精选问题,感知探针显示前沿模型约 85% 的失败源于感知错误。 涵盖 25 个系统(含 GPT-5 和 Claude Opus 4.6),最佳准确率 66.0%,较人类基线低 18.4 分。 CORE 指标在效率感知下重新排序 24.2% 的模型对,且与响应长度无关。
研究者提出GEPA-Curator框架,通过任务筛选和成功轨迹检索,优化提示词以提升LLM智能体表现。在GoBrowse、ALFWorld、AppWorld和τ-bench上,该框架使用Gemini 3.1 Pro和Claude Opus 5进行测试,性能匹配或超越基线,相比GEPA提升最高20.7%,相比ACE提升21.2%。
DocXEval 是一个首个针对多模态文档理解场景的可解释性评估框架。该框架系统评估了 13 种 XAI 方法在 3 类任务、8 个数据集及 4 个模型上的表现。 研究涵盖 17 项评估指标,发现 Occlusion 方法在忠实度和可解释性上表现最优。 该工作为多模态文档理解领域的可解释性研究提供了基准与实用指南,代码已公开。
研究引入静态规划器-执行器框架PlanAhead,评估4种自然语言规划表示对LLM网页智能体性能的影响。实验在3个难度级别的WebArena任务中,系统测试了包括顺序子目标、叙述、伪代码和检查表在内的4种规划表示。结果显示,规划形式的制定和底层LLM均显著影响网页智能体的稳健性和任务成功率。
LongChang 框架评测大语言模型在改变物理定律的模拟世界中通过自由探索发现规律的能力。 在测试的 12 个大语言模型中,GPT-6-Astra 达到 16.7% 的发现率,其余 11 个模型得分均为 0%。 探索记录仅部分识别出被改变的物理定律,揭示了未被调查的异常现象。
论文提出 SimpleLoRIF,一种可扩展的梯度嵌入方法,用于识别导致 LLM 安全退化的微调数据。该方法简化低秩归因,仅对最后 4 个 Transformer 块进行反向传播,可处理百万级样本,误对齐梯度空间 AUC 达 0.865。
研究提出 Spine 运行时,解决长时程编码任务中上下文膨胀及性能下降问题。该机制通过 SpineTree 结构保留未完成子任务交互,替代已完成子任务细节,支持前缀缓存复用。
针对 LLM 智能体基于软件需求生成测试的现状,发布基准 Req2Test-Bench。该基准包含来自 8 个开源项目的 5,086 个执行验证实例,涵盖 5 种编程语言,并要求智能体在隐藏实现代码的情况下生成测试。
研究显示在移除作者署名签名后,利用提交信息和变更大小等特征可区分 AI 与人类提交,最佳检测器 ROC AUC 达 0.859,但精确率仅 0.332。 未微调的 gpt-6-sol 效果与 XGBoost 相当;检测在 Claude Code 和 Copilot 上的迁移效果较差,TF-IDF AUC 降至 0.524。
研究提出 PIP-ToM 框架,解决多模态心智理论(ToM)中的证据可接受性问题。结合 GPT-4o,该方法在 MuMA-ToM、MMToM-QA 和 Hi-ToM 基准上分别达到 92.56%、95.00% 和 95.00% 的平均准确率。 该框架通过构建特定于智能体的证据存储,将其与结构化心智状态主张对齐,并在保留贝叶斯推理过程的同时校准模型假设分数,避免视角泄漏和来源混淆。
kw-bench 针对审计等调查性任务发布新评测基准,使用 DeepSeek v4.1 Flash 实测显示独立 harness 得分 0.542 与 0.528。 前沿模型如 Claude Opus 5.5 仅需 22-25 分钟完成任务并得分近 1.0,将数周工作压缩至数分钟。 低于前沿模型时,harness 决定模型能走多远,而前沿模型则彻底改变成本与效率结构。
iCloud 邮件和日历插件现已在 ChatGPT 中开放,支持跨 Web、桌面及 iOS 平台使用。用户可指令 ChatGPT 查找邮件、回顾收件箱、查看日程安排或更新日历事件。
多领域学者指出,AI 系统有望在未来几年内自动化大部分 AI 研发工作,这可能引发“智能爆炸”,将数年的技术进步压缩至数月。 智能爆炸可能极大加速 AI 效益,但也会带来超级 AI 失控及权力制衡被严重侵蚀的极端风险。 鉴于不确定性高且利害关系重大,政策制定者应紧急增强对 AI 研发自动化的可见性,并制定相关约束措施。
ChatGPT Images 2.5 发布后 51.1 小时内收集 3,478 张图片,构建发布期数据集用于评估 6 个冻结检测器。 在 5% 标记率下,各检测器标记率为 3.7% 至 56.4%,低于 GenImage 召回率 42-81 个百分点;保留艺术图误报率为 1.5% 至 96.5%。 数据集支持分析产品过渡期的模型使用情况,已公开发布。