跳到正文
LessWrong · All Posts· Ziqian Zhong·· 4 天前AI 评分56

LLMs 在 TASTE 基准中因捷径表现低于随机水平

LLMs are weirdly below chance on TASTE benchmark without a shortcut

AI 导读

作者发现 TASTE 基准中存在机械可解释性术语捷径,机械可解释性相关提案评分更低。在该基准的非机械可解释性半部分,所有 ECI > 158 的测试模型在仅基于评分标准的设置中准确率低于 50%,其中 8 个模型(7 个为 OpenAI)显著低于 50%。

来源:LessWrong · All Posts · lesswrong.com