arXiv · AI· Honson Ling, Kidus Admassu, Stephanie Rosenthal·· 15 天前AI 评分28
SME-C:结合专家批评与 LLM 驱动的迭代精炼方法,用于构建高质量 AI 评估数据集
Pairing Expert Critique with LLM-Driven Refinement: An Iterative Approach for Curating Quality AI Evaluation Datasets
AI 导读
提出 SME-C 工作流,通过 411 名金融专家的 3,853 条批评,利用 LLM 迭代精炼评估数据集。盲测显示两种 LLM 策略均优于专家基准,批判式精炼改进更全面,投票式精炼更擅长去除无关内容。
来源:arXiv · AI · arxiv.org