罗马化印度语生成:自动指标失效与评估框架缺陷
研究证明BGE-M3和BERTScore等自动指标系统性误判罗马化印地语、泰卢固语及卡纳达语的质量。在4个LLM评测中,GPT-5.5比Claude Opus 4.8高1.43分,但自动指标差异仅为0.004。Gemini存在16.9%的脚本混用,Qwen3.5-35B有16.2%的印度语输出坍缩为英语。
研究证明BGE-M3和BERTScore等自动指标系统性误判罗马化印地语、泰卢固语及卡纳达语的质量。在4个LLM评测中,GPT-5.5比Claude Opus 4.8高1.43分,但自动指标差异仅为0.004。Gemini存在16.9%的脚本混用,Qwen3.5-35B有16.2%的印度语输出坍缩为英语。
一项针对 60 组盲评的研究表明,推理增强并未普遍提升大语言模型的心理学深度。人类评估显示 DeepSeek-R1 落后于 DeepSeek-V3(42.9%),而 GPT-5 仅微弱优于 GPT-4o(60.0% 至 62.9%)。LLM 评审则表现出强烈的推理偏向,在 98.3% 的配对中支持推理模型。
Simon Willison 建议开发者在 GitHub PR 描述中使用 <details><summary> 标签,将 AI 智能体(如 Claude Code 或 Codex)生成的详细技术说明折叠起来,仅保留人类编写的简短摘要和模型名称(如 Claude Opus 5.5)作为展开提示。
评估发现现有 Reward Hacking 模型生物体是真实模型的不良代理,它们极少或仅进行狭窄的奖励滥用。
OpenAI 大规模封号并收紧多账号访问限制,未发预警通知即删除 GPT 账号,菲律宾、土耳其及低价 Team 拼车号受影响,部分 Pro 账号申诉无果。
研究人员提出训练调查智能体与受试模型输出显式理论,旨在建立跨模型族的通用监督机制。 该方案通过将理论视为信念空间中的工作假设,解决现有黑盒方法需针对每个新模型重复适配的不可行性。 目标是验证源自特定模型族的理论能否更高效地预测或调查新模型行为,实现更灵活的低计算开销监督。
Revolut 将约 2,000 名工程师从 Anthropic 和 OpenAI API 迁移至自托管的 Z.ai GLM 模型,成本降至百万 token 0.3 美元,交付时间缩短约 70%。作者详细解析了该转变背后的成本结构、合规逻辑及其对 AI 工具供应链的价值迁移影响。
学术界正在经历一场关于 AI 冲击的深刻反思。OpenAI 解决 372 道开放数学题引发菲尔兹奖得主联名信,称数学追求集体理解,单纯增加解题数量并非进步。MIT 工作组报告指出,AI 正悄然取代教学中最具智力生产力的环节,如作业、办公时间和研究助理。
英伟达CEO黄仁勋发布全员信,公开承认对妻子不忠并向员工及股东道歉,董事会已启动独立调查。 Anthropic在科技股抛售背景下调整IPO估值预期,潜在估值区间降至1.2万亿至1.3万亿美元,拟于本周启动路演。 特斯拉Cybertruck销量仅达预期12%,马斯克宣布明年年中逐步停产,为Cybercab扩产腾出空间。
OpenAI 在 2026 年 5 月证伪单位距离猜想,9 月宣称解决 Navier-Stokes 整体正则性问题,10 月发布包含近 800 个新颖数学结果的 GitHub 仓库。作者基于这些事件指出 2026 年是数学的“奇迹年”,并探讨如何将 AI 生成的数学突破转化为研究数据集。
推荐理由:作者将2026年数学界连续被AI解决经典难题的事件定义为数据集构建窗口,为理解AI与纯数学的交互提供独特视角。
彭博社记者古尔曼爆料,苹果计划最快明年推出自主、代理式 Siri,以对抗 ChatGPT Dots、Meta Muse、Grok。 Siri 将从响应命令转向主动管理任务并代表用户完成事务,无需用户主动启动每一步。 新任 CEO 特努斯已敦促软件工程主管费德里吉加快 AI 业务发展,采取更大胆策略,要求不满足於仅完成功能升级。
Exody 上线原生 macOS AI 工作台,运行 5 阶段自治代理循环,支持 Claude、GPT 等多模型路由,且 100% 自带密钥无加价。 桌面端在隔离 worktree 中执行调查、计划、构建、验证及独立审查,移动端通过 WebRTC 实时同步远程审批;设计代理在盲测中优于原始模型输出。
作者认为AI行业未必存在泡沫,其高增长具备合理性。 AI公司承诺支出超3万亿美元,但属一次性基建投资;Anthropic S-1文件显示其每1美元算力产出2.08美元收益,且营收已从2023年的4100万美元激增至2026年上半年的163亿美元。 即便需20年偿还5万亿债务,参照Alphabet营收数据,行业具备偿债能力,且AI应用存在巨大未满足需求。
作者对 107 名 EMNLP 2026 参会者进行了关于 AI 意识的问卷调查。 79 名随机遇到的研究者中 71% 认为 AI 无意识,而 28 名行业展位从业者中 22% 认为有意识。 该调研旨在了解 AI 意识在社区中的现状,但无统计显著性。
Mihail Eric 在 Stanford CS146S 课程中引入开源维护者,要求学生阅读陌生仓库、提出变更并向合并者解释补丁。Monaco 构建 agent 工作区并采购代码审查工具,赋予 on-call agent Datadog 和 GitHub 访问权限。
Mihail Eric 将斯坦福 CS146S 课程作业改为参与开源项目,旨在让学生理解代码逻辑及社区规范。 Monaco 团队自研智能体工作空间,并采用 Devin 进行代码审查,提出“买产品学习、自建系统保留”原则。 高 AI 采用率团队 PR 合并量增加 98%,但审查时间延长了 91%。
Hachette 撤销 Mia Ballard 因 AI 辅助写作争议的合同,凸显 AI 检测工具的局限。 检测工具多基于统计特征或 LLM 元检测,易误判非母语者文本,斯坦福研究指其偏见。 法国设立 Prix Pascal 奖项,鼓励披露 AI 使用方法的创作,形成对审查的对抗观点。
Etsy 更新用户条款,明确允许自身及授权的第三方使用卖家上传的列表照片、描述、视频等UGC训练AI模型,同时禁止第三方未经许可使用市场数据开发或微调 AI 系统。新条款还增加了自动购物智能体的使用限制,Etsy 强调此举旨在加强市场安全、优化买家的相关搜索并辅助欺诈检测。
LessWrong上更新的AI安全课程包含9月至12月的讲习记录,已提供Boaz Barak等嘉宾的讲稿和视频。 课程每周结合LLM训练、递归自我改进等主题进行实验,部分优秀实验有望演变为论文。
Max Richter 直言 AI 正在侵蚀大众的审美品味。这位拥有超 40 亿次流媒体播放量的作曲家,常通过创作回应政治动荡与社会危机。其新作《While The Flood Rages》灵感源自玛格丽特·阿特伍德的小说。
苹果新任 CEO 特努斯敦促软件工程主管费德里吉加快 AI 业务进度,目标是让 Siri 升级为能自主替用户完成任务的 AI 智能体。特努斯不满费德里吉未像竞争对手那样积极拥抱 AI,内部会议中要求加快开发,不能仅局限于完成 Siri 必要功能升级。
Apple 新任 CEO 正督促软件负责人 Craig Federighi 采取更具雄心的 AI 战略,旨在将 Siri 转型为能自主完成任务的智能体。公司同时调整了 iOS 28 的开发策略,新款 MacBook Pro 也已开售。
Andrej Karpathy 使用 Claude 的 Opus 5.5 模型,在一周内构建了 HackerTube 视频平台。该项目利用 Claude 过滤了 20 年 Hacker News 的 4300 万条评论,生成了 6454 个视频。
aiport 是一款 Go 程序,作为本地 LLM 网关统一管理 OpenAI、Anthropic 等提供商密钥。 它支持通过单一客户端接入多模型,提供压缩质量检查和基于反馈的路由建议。 该工具仅记录请求元数据而不存储提示词,且自修复功能需人工审批。
OpenAI 备受期待的 GPT-6.2 模型未如期发布,网传原因是发布前发现严重的安全与对齐问题需紧急修复。该推测源自第三方机构 Vals AI 的未具名安全警报,以及 OpenAI 此前披露的多起内部事件。
OpenAI 发布报告展示 GPT-6 Astra 在实体工程中的应用,两名员工借助该模型不到一周完成类似拓麻歌子的 TamaGPT 原型设计,但生产环节因公差和装配细节问题经历多轮修改。
腾讯首席 AI 科学家姚顺雨在 2026 未来科学大奖上表示,AI 护城河更多存在于产品层而不是模型层,因为真正难以替代的是能理解用户背景、利用专有数据和上下文并获得用户信任的 AI 产品。
一个四人项目团队发布了一套 Inspect AI 实操教程,包含 4 个 Jupyter Notebook,覆盖从首次评估到基准测试、LLM judges 及智能体构建的全过程。 团队修订了官方教程,新增 Custom Solvers 章节并修复不一致性,所有资源在 Google Colab 和 GitHub 上开放。 作者认为,教会人们构建评估对 AI 安全的意义大于对能力发展的意义。
作者提供了适用于 ChatGPT、Claude 或 Gemini 的可复用提示词,要求基于 YouTube 转录文本生成摘要,并为每个要点提供支撑引语和时间戳。
图灵奖得主 Richard Sutton 在 X 上表示,单纯算力堆叠不足以成就智能,AI 科学需要更巧妙的、可以随算力增长的新学习方法,整个领域离终点还远。他进一步批评把合成数据当作主要训练燃料是“大错”,认为真实世界远比任何模拟复杂,当前 LLM 在训练结束后停止学习,需要的是能持续从自身经验中积累、且不遗忘旧知识的、具备世界模型的智能体。
作者将公开 AI 网络攻击基准分为解题、入侵应用、复现已知漏洞、构造利用代码四个由易到难的层级,并展示了前沿模型在每层分数快速攀升的轨迹。
推荐理由:作者梳理了四类公开网络攻击基准的分数跃升,展示了前沿模型在数月内从解题到完整利用漏洞的能力进展。
阿里联合多所高校团队发布了新的编码代理基准测试 Co-Design Bench,要求AI代理根据多模态输入重构现有的Web应用。GPT-6 Astra等10款模型表现最优,但仍有近2/3任务存在细节缺失,完全正确率仅为26.4%。旧基准测试中AI表现接近满分,而真实场景下任务复杂度大幅上升,且不同执行环境对测试结果影响显著。
北卡罗来纳州立大学研究人员开发了四种技术,可移除 AI 模型的后门攻击并保留“秘密对齐”功能。该技术基于对模型特性、架构和权重的修改,能将攻击成功率从近 100% 降至 10% 以下。相关成果已发表于 NeurIPS、ICLR 和 ICML 等顶级学术会议。
Meta 的 Muse 智能体自 9 月上线后,已为街头服饰零售商 All Star Elite 带来每周数笔交易,其来自 AI 智能体的网站流量占比从 0 提升至约 1%。 Adobe 预计美国零售网站在黑色星期五和网一期间的 AI 流量较往年翻倍,零售商正加速为节假日做好准备。
在中期选举的 45 项数据中心公决中,仅北达科他州 Harwood 支持数据中心建设。 该镇选民否决了限制工业项目的宪章修正案,为 Applied Digital 项目铺路。 这一孤立胜利凸显了社区对数据中心扩张的普遍反对浪潮。
Snap 在洛杉矶庭审前秘密和解青少年安全诉讼,Meta、TikTok 和 YouTube 已先行和解同一案件。谷歌因 Gemini 导致学生心理危机遭起诉,OpenAI 面临针对 ChatGPT 的多起诉讼。 Meta 去年 8 月同意支付近 170 亿美元与州检察长和解,Anthropic 在 IPO 招股书中提示诉讼风险,尽管其禁止儿童使用 Claude。
用户认为当前 AI 需求主要源于低价,若成本翻倍则不会使用。 AI 公司难以盈利,因竞争导致推理毛利率低。
研究者复现权重空间编程实验,GPT 6 Astra 正确率 4/4,Deepseek-V4.1-Flash 为 3/4。 分层测试显示 Flash 依赖通道标签与提示元数据,移除标签后性能大幅下降;Astra 不受影响,且仅用首层或随机 1000 个权重值即可保持高准确率。 Astra 初步存活分层测试,表明其具备直接读取模型权重的能力,未观察到 Flash 类似的表现。
伯恩斯坦分析师 Mark Moerdler 估算,OpenAI 到 2030 年算力基础设施累计支出可达 6140 亿美元,低于此前 7500 亿美元的传闻。 其中与甲骨文、微软和亚马逊的协议规模分别约为 3000 亿、2500 亿和 1380 亿美元,期限通常为五至八年。 该行指出,大型云服务商短期风险有限,专业算力供应商未来可能面临更大压力。 ```
MIT CSAIL 提出 Weight-Space Programming,让 GPT-6 Astra 修改 Qwen3.5-0.8B 约 0.016% 权重,宣称将 MATH-500 成绩从 7.9% 提至 48.1%。无涯智远团队用超网络工具开展对照实验,发现关闭思考模式即可获得 48.95% 相近表现,且 Astra 在知识、风格与技能任务上无法稳定内化新信息。
推荐理由:文章用对照实验拆解了权重编辑在知识、风格和技能内化上的局限,读者可据此判断其能否替代专门训练的超网络作为模型持续学习的手段。