LessWrong · All Posts· Ziqian Zhong·· 4 天前AI 评分37
LLMs 在移除捷径后 TASTE 基准测试表现低于随机水平
LLMs are below chance on TASTE once a shortcut is removed
AI 导读
研究发现 TASTE 基准存在捷径,仅比较机械可解释性术语数量的简单策略即可达到 63.0% 准确率,优于所有受测 LLM。 移除捷径后,ECI 超过 158 的模型在剩余测试中准确率低于 50%,其中 OpenAI 模型平均准确率仅 29.6%。 数据显示模型性能随 ECI 增加而下降(Pearson r = -0.74),表明存在系统性偏差。
来源:LessWrong · All Posts · lesswrong.com