arXiv · NLP· Shubham Mishra, Atharv Sharma, Dhruv Kumar, Harsh Sharma·· 3 天前AI 评分31
CATS 评测框架:基于证据冲突的推理与拒答能力研究
From Evidence to Judgment: Trace-Augmented Reasoning under Conflicting Evidence
AI 导读
研究团队发布943个训练样本及736个测试基准,利用CATS框架评估大语言模型在文档冲突下的信任决策与推理能力。 微调模型生成的思维轨迹显著提升表现,拒答F1得分从0.429提高至0.826,事实依据得分在40词提示下达到0.86至0.88。
来源:arXiv · NLP · arxiv.org