Hacker News AI· samuell·· 8 天前AI 评分34
我们需要在 LLM 能力评估中引入更多科学严谨性
We need more science in the judgment of AI
AI 导读
作者指出社区常依据主观个案结果而非科学评估判断 LLM 能力,易受“p-hacking”或“HARKing”等行为误导。 LLM 擅长处理训练数据充足的领域(如常见游戏代码),但在 Zig 等数据稀缺领域表现不佳,且直接代码翻译存在诸多未覆盖的边界案例。 作者主张 LLM 开发者应设立严格假设,避免将模型对存量数据的复述误判为泛化创新能力。
来源:Hacker News AI · livingsystems.substack.com