arXiv · ML· Arvind Raghavan, Inwoo Hwang, Shreyas Havaldar, Kai-Zhan Lee, Aurghya Maiti, Yushu Pan, Jeffrey Wu, Mingxuan Li, Elias Bareinboim·· 2026-10-12AI 评分26
CoBe 基准测试:评估模型对话式反事实文本编辑能力
CoBe: A Benchmark For Conversational Counterfactual Text Editing
AI 导读
CoBe 基准测试包含 2000 个问题,用于评估模型零样本反事实文本编辑能力。 前沿模型平均得分 58.05%,性能随模型规模或输出长度增加未稳定提升,且模型常默认使用关联性生成而非保持因果结构。 该基准已被 NeurIPS'26 工作坊接受,旨在区分反事实推理与统计关联性文本生成。
来源:arXiv · ML · arxiv.org