新研究揭示LLM预测用户对话决策局限

Baiqiao Zhang等人在arXiv发布论文，测试大语言模型在人际智能体对话中预测用户决策的准确性。研究采用1260轮重复囚徒困境博弈实验，参与者为42名用户与五个AI智能体。 实验发现，8个开源模型仅依赖决策记录预测用户合作行为的AUC值达到0.80，加入对话记录未带来显著增益。模型预测过度偏重用户口头声明而非实际行为，当用户违背声明时，预测准确率从0.65骤降至0.17。 研究还指出，现有模型未能反映不同性格智能体对用户合作的显著影响。例如，宜人性与外向性等性格特征在预测中未显示出预期的效果。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。