arXiv · NLP· Tianyun Zhong, Guozhao Mo, Yanjiang Liu, Yihan Chen, Lingdi Kong, Xuanang Chen, Yaojie Lu, Hongyu Lin, Shiwei Ye, Xianpei Han, Ben He, Le Sun·· 5 小时前AI 评分37
AOE基准：评估大语言模型从长文档构建结构化表格的深度知识提取能力
Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction
AI 导读
研究者推出双语基准AOE，评估LLM将64k至1.8M token长文档提取为结构化表格的能力，涵盖学术、金融等4领域12项任务。 测试12个前沿LLM的4种生成设置，最高Cell F1仅为42.7%，且检索增强方法常导致性能下降，表明长上下文结构化提取仍是核心挑战。
来源：arXiv · NLP · arxiv.org