跳到正文
arXiv · NLP· Yuyan Wang, Yuechen Jiang, Zhiwei Liu, Jimin Huang, Sophia Ananiadou·· 10 天前AI 评分20

THEATRON: 评估长时程 LLM 决策中人格持久性的基准测试

THEATRON: A Benchmark for Evaluating Persona Persistence in Long-Horizon LLM Decision-Making

AI 导读

研究团队提出基准测试 THEATRON,利用金融回放数据评估大型语言模型在长期序贯决策中的人格持久性。 该基准涵盖 Zero-Shot、One-Shot 及 CoT 等四种人格注入模式,通过累计收益率诊断行为稳定性与跨人格可分离性,代码数据已公开。 研究揭示了可观察的人格驱动行为与持久、情境敏感决策策略之间的显著差距。

来源:arXiv · NLP · arxiv.org