LessWrong · All Posts· Ziqian Zhong·· 4 天前AI 评分56
LLMs 在 TASTE 基准中因捷径表现低于随机水平
LLMs are weirdly below chance on TASTE benchmark without a shortcut
AI 导读
作者发现 TASTE 基准中存在机械可解释性术语捷径,机械可解释性相关提案评分更低。在该基准的非机械可解释性半部分,所有 ECI > 158 的测试模型在仅基于评分标准的设置中准确率低于 50%,其中 8 个模型(7 个为 OpenAI)显著低于 50%。
来源:LessWrong · All Posts · lesswrong.com