跳到正文
arXiv · AI· Zhexi Feng, Bingrui Zhang, Wuxi Chen·· 17 天前AI 评分38

FactForm:基于事实的开放式问答评分方法

When Answer Evaluation Misleads Confidence Selection: Fact-Grounded Form Grading for Open-Ended QA

AI 导读

FactForm 在 998 个 EVOUNA 回答中达到 0.077 的平衡错误率和 0.985 AUROC,优于传统评分器的 0.112 和 0.930。 它每次回答仅调用一次 LLM,通过程序化公式打分,运行间平均绝对差异为 0.0136,稳定性优于 LLM 评审。 该方法旨在提升开放式问答基准测试评分的准确性与可复现性。

来源:arXiv · AI · arxiv.org