arXiv · NLP· Yijun Liu, Yifan Song, John Gallagher, Sarah Sterman, Tal August·· 6 小时前AI 评分24
FOXGLOVE: 理解 LLM 与专家在议论文写作反馈中的目标导向与锚定差异
FOXGLOVE: Understanding Goal-Oriented and Anchored Writing Feedback from Experts and LLMs on Argumentative Essays
AI 导读
研究提出 FOXGLOVE 数据集，包含 696 条专家反馈和 1,644 条由四个前沿 LLM 生成的反馈，用于系统比较两者在议论文修订上的差异。 数据显示，专家与 LLM 在反馈目标分布上相似，但在具体句子锚定上存在分歧；LLM 反馈更复杂、提问更少，且因篇幅较长而在质量评分上普遍占优。 该数据集为系统分析人类与 LLM 写作反馈的一致性与差异性提供了基础支持。
来源：arXiv · NLP · arxiv.org