arXiv · NLP· Daisuke Kikuta·· 3 天前AI 评分28
LLM 能否预判用户编辑请求?EditRecBench 基准与门控策略研究
Edit Recommendation: Can LLMs Anticipate Edit Requests from Users, and When?
AI 导读
研究形式化了“编辑推荐”任务,指出LLM预判用户编辑请求在实际场景中面临固有难度。 构建基于WildChat-4.8M日志的EditRecBench基准,引入决策模型门控过滤低置信度预测,使展示建议的pass@5提升12-25分。 该机制通过降低错误预测的呈现频率,减少了用户审核与反馈的人工成本。
来源:arXiv · NLP · arxiv.org