跳到正文
arXiv · ML· Qiwei Han, Chi Zhou, Gaoxiang Yuan·· 7 小时前AI 评分20

钙钛矿光伏检索增强生成(RAG)定量问答基准:验证 SQL 执行优于纯文本检索

Benchmark for Structured Retrieval-Augmented Generation in Perovskite Photovoltaics

AI 导读

该基准提出基于 45,441 条器件记录的定量问答任务,指出传统纯文本检索 RAG 准确率仅 16-23%,低于零样本性能优势有限。 引入只读 SQL 执行后,准确率升至 51.5%,且聚合类查询在纯文本检索下几乎无法解决。 证明了系统化表格提取是文献级定量研究的操作前提,适用于 14B 开放模型与 24 GB GPU 环境。

来源:arXiv · ML · arxiv.org