arXiv · ML· Lech Madeyski, Barbara Kitchenham, Martin Shepperd·· 7 天前AI 评分23
LLM4SCREENLIT:系统综述文献筛选中评估 LLM 性能的建议
LLM4SCREENLIT: Recommendations on assessing the performance of large language models for screening literature in systematic reviews
AI 导读
研究提出加权马修斯相关系数(WMCC)以解决 LLM 文献筛选评估中不平衡数据的误导性问题,并发布了实践建议 LLM4SCREENLIT。 在包含 9 个 LLM 和 34,528 篇文章的大型软件工程再分析中,基于 WMCC 的最佳模型仅丢失 5.8% 的相关证据,远优于 Accuracy 最佳模型的 63.3% 丢失率。
来源:arXiv · ML · arxiv.org