LessWrong · All Posts· Ziqian Zhong·· 4 天前AI 评分53
LLM在TASTE基准中因机理解释捷径表现低于随机水平
LLMs are weirdly below chance on TASTE without a shortcut
AI 导读
在TASTE基准中发现机理解释相关提案通常得分较低,构建了一个基于术语数量的捷径基线,整体准确率达63.0%,超过所有被测LLM。在非机理解释的52对样本中,所有ECI大于158的被测模型在纯评分标准设定下准确率均低于50%,其中8个显著低于随机水平(7个为OpenAI模型),且OpenAI模型得分随ECI升高而下降(r = -0.74)。
来源:LessWrong · All Posts · lesswrong.com