LessWrong · All Posts· Ziqian Zhong·· 4 天前AI 评分21
TASTE 基准测试移除捷径后 LLM 表现低于随机
LLMs are weirdly below chance on TASTE once a shortcut is removed
AI 导读
研究发现 TASTE 基准存在机械可解释性相关捷径,移除该捷径后,ECI 高于 158 的所有受测 LLM 在纯评分标准设置下准确率低于 50%。 OpenAI 模型平均准确率仅为 29.6%,且准确率随 ECI 升高而下降(Pearson r = -0.74),显示系统性偏差。
来源:LessWrong · All Posts · lesswrong.com