跳到正文
arXiv · AI· Prashanth Bhaskara, Shubhaankar Gupta, Seojoon Yeon·· 10 天前AI 评分20

Recall Fidelity Score:作为 LLM 预测错误诊断的近似回忆

Approximate Recall, Approximate Forecasts: Recall as a Diagnostic for LLM Forecasting Errors

AI 导读

LLM 存在“近似回忆”,虽保留过去事件的粗略关联,但特定细节(如时间)易失保真。研究引入“回忆保真度分数”,量化内部知识模糊度对预测能力的影响。在已解决的历史预测市场中,局部高回忆保真度可预测更低的预测误差,该信号也能预测与开放市场价格的更小偏差。

来源:arXiv · AI · arxiv.org