arXiv · NLP· Saisab Sadhu, Shreeyans Arora, Pratinav Seth·· 2026-10-09AI 评分31
法律思维链忠实度反事实审计:引用权威却未真正咨询
Cited but Not Consulted: A Counterfactual Audit of Legal Chain-of-Thought Faithfulness
AI 导读
研究发现,7个开源模型在指定法律依据时准确率高达66.7%-100%,但判决随依据变更的敏感率仅0.0%-76.7%,引用权威并非判决依赖的有效代理。 模型规模扩大及专为法律推理微调的LoRA模型均无法缩小该差距,且红队测试显示模型对隐藏在案情中的对抗指令合规率达73.3%-96.4%。 这些发现直接影响生成式法律解释作为合规或审计工件的可靠性,揭示了其在面对对抗性操纵时的脆弱性。
来源:arXiv · NLP · arxiv.org