arXiv · NLP· Lingfei Qian, Yan Wang, Xueqing Peng, Yupeng Cao, Yuechen Jiang, Zhuohan Xie, Anke Xu, Wenbo Cao, Jiarui Chen, Zehan Li, Jimin Huang, Alejandro Lopez-Lira, Yuehua Tang, Sophia Ananiadou, Jian-Yun Nie·· 15 天前AI 评分38
FinDendro 基准揭示大语言模型金融回测中的时间自认知偏差
LLMs Don't Know What They Know: Benchmarking Temporal Self-Knowledge for Financial Backtesting
AI 导读
研究提出 FinDendro 基准,包含 1999 至 2026 年间 2226 条带日期的美国金融事实,用于验证模型知识截止日的可靠性。 测试显示 GPT-5 在受控事实上正确率达 76%,但仅自报知晓 38%;知识主张可超出实际边界多达七个季度。 研究发现无法通过自报、指令或名义截止日认证回测无泄露,主张采用行为测量法确定回测时段。
来源:arXiv · NLP · arxiv.org