arXiv · NLP· Baiqiao Zhang, Shuai Ma, Zhifeng Liao, Chao Zhou, Jianshu Wang, Yuhan Zhao, Chaoyue Zhang, Tongjun Si, Yuying Tang, Xiangxian Li, Yong-Jin Liu, Yulong Bian·· 5 小时前AI 评分30
LLMs 在人际智能体对话中预测用户决策的准确性分析
Words or Deeds? How LLMs Predict Users' Decisions in Human-Agent Dialogue
AI 导读
在 1,260 轮重复博弈实验中，8 个开源权重大语言模型仅依赖决策记录预测用户合作行为的 AUC 达到 .80，加入对话记录未带来显著增益。 模型预测过度偏重用户口头声明而非实际行为，当用户违背声明时预测准确率从 .65 骤降至 .17，且未能反映不同性格智能体（如宜人性 vs 外向性）对用户合作的显著影响。
来源：arXiv · NLP · arxiv.org