arXiv · AI· Amogh Raina, Ilias Chalkidis, Daniel Hershcovich, Henrik Palmer Olsen·· 23 小时前AI 评分27
GPT-5.4 在法律推理中的表现：一项基于欧洲人权法院案例的小规模研究
Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases
AI 导读
研究发现 GPT-5.4 在法律推理中得分远低于理想水平，虽生成结构完整的分析但内容实质浅薄。专家策划的提示词导致更全面的推理，但相比其他设置未产生更准确的预测。 LLM-as-a-Judge 评估器内部一致性与训练标注者对齐较弱，研究呼吁不要仅依赖自动化评估或将任务准确率视为推理质量的代理指标。
来源：arXiv · AI · arxiv.org