arXiv · ML· Zeyu Zhang, Bradly C. Stadie·· 7 天前AI 评分33
LLM 回测时间泄露:测量、验证与分数调整
Temporal Leakage in LLM Backtesting: Measurement, Validation, and Adjusted Scores
AI 导读
研究发现,大语言模型回测中传统的污染检查无效,因为模型对截止时间附近的时间敏感,导致近期数据泄露现象与真实能力难以区分,证明了被动回测无法剥离二者。 作者提出利用已知截止时间和匹配的干净对照来定位泄露,并据此计算泄露调整后的分数。 在包含植入泄露的孪生模型测试中,该估计器成功检测并定位了泄露,而在五个前沿模型的实测中,未发现显著泄露。
来源:arXiv · ML · arxiv.org