跳到正文
Hacker News AI· Arno_Bighub·· 3 小时前AI 评分55

First Silicon 基准测试:前沿AI模型在芯片漏洞检测中零误报命中率不足20%

Show HN: First Silicon, real chip bugs that AI models miss

AI 导读

First Silicon基准测试评估前沿模型检测开源芯片设计真实漏洞的能力,86个修复案例中Claude Opus 5.5最大努力模式零误报命中率达18.6%,是最佳结果。测试允许误报时其命中率升至32.6%,而67个真实漏洞在所有模型默认设置下均未被发现。模型引入形式化检查器后准确率反而下降,暴露了判断反例是否为代码错误还是断言错误的开放问题。

来源:Hacker News AI · umwelt.vision