跳到正文
LessWrong · All Posts· Ziqian Zhong·· 4 天前AI 评分53

LLM在TASTE基准中因机理解释捷径表现低于随机水平

LLMs are weirdly below chance on TASTE without a shortcut

AI 导读

在TASTE基准中发现机理解释相关提案通常得分较低,构建了一个基于术语数量的捷径基线,整体准确率达63.0%,超过所有被测LLM。在非机理解释的52对样本中,所有ECI大于158的被测模型在纯评分标准设定下准确率均低于50%,其中8个显著低于随机水平(7个为OpenAI模型),且OpenAI模型得分随ECI升高而下降(r = -0.74)。

来源:LessWrong · All Posts · lesswrong.com