arXiv · ML· Donato Riccio, Fabrizio Maturo·· 17 小时前AI 评分32
语言模型预测深度决定人类阅读时间
The Depth of a Prediction: Where Language Models Resolve a Word Predicts Human Reading Time
AI 导读
语言模型在 GPT-2、OPT 和 Pythia 上的逐层预测轨迹深度(resolution depth)能更好地预测人类阅读时长。 在 81,957 个词的眼动数据上,相比最终层 surprise,深度指标每词提升 0.26 millinats 预测精度(p = 0.001)。 模型在较深层才解析的词及其后词被阅读得更慢,且该效应在未经训练的网络中不成立。
来源:arXiv · ML · arxiv.org