跳到正文
11月16日周一
11月14日周六
11月13日周五
11月11日周三
  1. Hacker News AI34

    我们需要在 LLM 能力评估中引入更多科学严谨性

    作者指出社区常依据主观个案结果而非科学评估判断 LLM 能力,易受“p-hacking”或“HARKing”等行为误导。 LLM 擅长处理训练数据充足的领域(如常见游戏代码),但在 Zig 等数据稀缺领域表现不佳,且直接代码翻译存在诸多未覆盖的边界案例。 作者主张 LLM 开发者应设立严格假设,避免将模型对存量数据的复述误判为泛化创新能力。

  2. LessWrong · All Posts40

    可验证指标是否高估 RSI:基于 METR 对 Anthropic 评估的探讨

    METR 评估显示 Anthropic 模型能力提升速率约为 2024 年 3 月至 2025 年 10 月期间的两倍,且 80% 的加速归因于 AI 贡献。作者认为 AECI 侧重可验证任务可能导致过拟合,使加速不可持续,这比模糊任务泛化更关键地影响 ASI 时间线。 该不确定性意味着可验证指标或高估 AI 研发加速,进而导致对 RSI 和 ASI 到达时间的过度乐观估计。

  3. LessWrong · All Posts20

    OpenAI 研究员时间视野估算低于 AECI 预测

    OpenAI 提供的直接测量数据显示,研究者的时间视野估算显著小于 AI2027 框架中 AECI 的预测。 两者拟合差距约为 2-3 次倍增(对应 2.5-11 个月),且该差距基于 50% 成功率的时间视野。 文章认为直接测量证据比 AECI 预测更可靠,可缓解对近期 RSI 的担忧。

11月10日周二
11月7日周六
11月1日周日
  1. Hacker News AI73

    AI 是否足够廉价以取代开发者?

    文章分析认为,AI 工具在代码编写成本上远低于人类开发者,但 SWE-bench 基准显示其在私有代码库上的表现存在巨大落差,且最新研究证明 AI 并未提升资深开发者效率。目前 AI 适合处理低风险的基础工作,但无法替代开发者的专业判断力。

10月29日周四
  1. APPSO50

    大模型为何通过“做游戏”展示能力

    新模型发布后,业界倾向于用制作浏览器游戏代替传统跑分,以直观验证代码与交互能力。 Claude Opus 5.5等模型能生成数万行代码,实现FPS、RPG及三维城市等可玩原型。 游戏成为新的展示仪式,平衡了技术复杂度与传播的直观性,但仍存在稳定性挑战。

  2. R/ArtificialInteligence46

    Artificial Analysis 智能指数 v5 因“私有测试”受批评,称 GPT 和 Google 模型排名被抬高,开源中国模型被压低

    Artificial Analysis 发布的智能指数 v5 因引入“私有测试”受到批评,被指显著拉低开源权重模型在指数中的排名,并抬高 GPT 和 Google 模型的排名。 批评者认为在私有数据集上进行“trust me bro”式私有测试缺乏透明度,使得当前开源权重模型在指数 v5 中排名偏低,此举被认为存在可疑之处。

10月28日周三
10月27日周二
  1. Hacker News AI57

    Benjamin Todd:几乎所有AI预测都低估了进度

    Benjamin Todd复盘了他关于AGI时间的预测与2024至2026年的基准实测,发现超级预测者、公众和专家普遍低估了AI的能力进步。他在2025年8月预测AI将在2026年底将FrontierMath准确率做到32%,但实际结果远超预期;他预测2026年底OpenAI和Anthropic年化收入为900亿美元,而实际早在2026年7月就达到了1000亿美元。

10月20日周二
  1. TechCrunch · AI33

    Hugging Face 政策主管称嵌入式 AI 评估员并非简单解决方案

    Hugging Face 政策主管 Irene Solaiman 指出,当前 AI 模型基准测试缺乏标准化,嵌入式评估员制度也难以成为成熟的解决方案。 她强调评估的可复现性与跨基准比较方法尚不明确,且针对 Agent 系统的评估开发成本高昂,目前行业生态仍处于混乱状态。 若基准测试要继续作为有效工具,行业需建立统一标准以取代现有的非规范做法。

10月17日周六
10月15日周四
  1. The Decoder67

    Google 称自我改进型 AI 仍遥不可及

    Google 工程师 Haydn Belfield 指出,自我改进型 AI 进展有限,DeepMind 尚未发现由 AI 驱动的 AI 研究加速。目前 AI 已编写超过 75% 的生产代码,但约 88% 的代码变更仍依赖人工审查。在内部基准 RE-Bench 上,Argon 解决了约半数任务,显著优于 Gemini 3.7 Flash 的 27%,但距离全自动化所需表现仍有差距。

10月14日周三
10月7日周三
  1. Hacker News LLM34

    GPT-3.5 Turbo Instruct 在象棋对弈中击败 GPT-5.6 Sol 和 Claude Opus 5

    GPT-3.5 Turbo Instruct 在与 GPT-5.6 Sol 和 Claude Opus 5 的四局象棋对弈中全胜,保持十战十绩。 前沿模型主要因遗忘棋子位置而走出非法步,GPT-3.5 凭借完整的 PGN 格式记录成功继续生成合法走法。 OpenAI 将于明日关停该模型访问权限,作者借此复盘其未败原因及前沿模型在特定格式下的局限。

10月4日周日