arXiv · NLP· Arunkumar V, Gangadharan G. R., S. Senthilkumar·· 3 天前AI 评分34
大语言模型阅读央行文本时存在时序数据污染
Reading or Remembering? Measuring Temporal Contamination in Language Models
AI 导读
针对大语言模型阅读 FOMC 文本进行经济预测时的时序数据污染,研究发现部分技能源于对结果的记忆。在 2000 至 2026 年的 FOMC 声明和会议纪要上,仅凭先验信息的模型对过去 GDP 预测的 AUC 可达 0.64。 研究通过对比时间一致性模型,发现实时预测中的前瞻优势在多重检验校正后不可检测,建议直接评估记忆效应。
来源:arXiv · NLP · arxiv.org