跳到正文
arXiv · AI· Yiding Ma, Chengyun Ruan, Kaibo Huang, Jin Tan, Zhongliang Yang, Linna Zhou·· 2026-10-14AI 评分28

OracleProto:通过知识截止与时间掩码实现可复现的大语言模型预测基准测试框架

OracleProto: A Reproducible Framework for Benchmarking LLM Forecasting via Knowledge Cutoffs and Temporal Masking

AI 导读

OracleProto 框架通过知识截止与时间掩码技术,在受控环境中实现大语言模型预测能力的可复现评估。 该框架在 24,300 次预测试验中评估了 27 组模型配置,经审计检索结果中残留信息泄露率仅为 1.37%。 OracleProto 将已解决的预测任务转化为可复用资源,支持预测数据集的持续积累与系统性评估。

来源:arXiv · AI · arxiv.org