arXiv · AI· Nan Jiang, Mohammed Mohsin Hussain, Onkar Tiwari, Ankit Jain, Thong Q. Nguyen, Abhishek Agarwal, Vishal Chowdhary·· 11 天前AI 评分30
FRAME:形式受限生成与基于模型的评估基准
Frame: Form-Restricted Authoring with Model-Based Evaluation
AI 导读
研究者提出形式受限报告生成任务及基准 FRAME,包含 120 个基于 EDGAR 和 arXiv 的实例。 该基准使用语义树编辑距离、信息单元召回和基于证据的忠实性三个指标评估输出。实验表明,开源大语言模型在结构上接近专有模型,但在覆盖率和忠实性上表现较差。
来源:arXiv · AI · arxiv.org