arXiv · AI· M. Mikail Demir·· 29 天前AI 评分22
系统一决策模型在缺失法律权威时选择弃权而非提交:LLM 与 1,670 项测试对比
Commit or Abstain? System One Decision Models, LLMs, and Missing Legal Authority
AI 导读
系统一决策模型在 CaseHOLD 扩展测试中,当正确法律权威缺失时,比生成式 LLM 更少强行选择错误选项。 在 5,314 项测试中,生成式 LLM 有 38%-86% 会错误选择,最谨慎的决策模型为 30%。决策模型在标准 CaseHOLD 上以 1/55 的成本匹配最佳 LLM 的 88.1% 准确率。
来源:arXiv · AI · arxiv.org