CogBattery评估54个语言模型认知表现

1. 13:00
   arXiv · AI

   CogBattery：语言模型认知任务行为与结构评估

   CogBattery 评估了 54 个开源语言模型在 13 项认知范式文本改编中的表现，并与源研究的人类数据进行对比。结果显示，模型虽能复现人类效应方向，但在非目标误报、置信度区分及固定下注偏好上表现远劣于人类，且这些模式跨越多个模型家族。研究指出，匹配人类效应方向不足以确立类人行为，大规模模型也未一致地更接近人类表现。

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。