arXiv · NLP· Minh-Nam Tran, Abulhair Saparov·· 2 小时前AI 评分39
GraphNIAH: 基于真实世界图谱的长上下文推理基准测试
GraphNIAH: A Benchmark for Long-Context Reasoning over Real-World Graphs
AI 导读
针对现有NIAH基准存在合成数据偏差和人工标注污染问题，研究人员推出动态基准GraphNIAH。该基准基于LLM知识截止日之后的真实论文引用图谱构建，通过自动化流程生成长上下文问答示例。
来源：arXiv · NLP · arxiv.org