arXiv · NLP· Jiawei Chen, Ruoxi Xu, Boxi Cao, Ruotong Pan, Yunfei Zhang, Yifei Hu, Yong Du, Tingting Gao, Han Li, Yaojie Lu, Yingfei Sun, Xianpei Han, Le Sun, Xiangyu Wu, Hongyu Lin·· 3 小时前AI 评分31
OmniBehavior 发布首个基于真实数据的 LLM 长期跨场景用户行为模拟基准
Towards Real-world Human Behavior Simulation: Benchmarking Large Language Models on Long-horizon, Cross-scenario, Heterogeneous Behavior Traces
AI 导读
研究团队推出 OmniBehavior，这是首个完全基于真实世界数据构建的预测性用户模拟基准，整合了长期、跨场景及异质行为模式。 基准实证了旧有孤立场景数据的局限，并揭示 SOTA LLM 在预测复杂行为时表现不佳，即使扩展上下文窗口，性能仍陷入停滞。 评估发现 LLM 模拟存在“乐观平均人”结构偏差，导致个体差异与长尾行为丢失，指出了高保真模拟研究的关键方向。
来源：arXiv · NLP · arxiv.org