arXiv · NLP· Daniel S. Epstein·· 5 小时前AI 评分26
AusClinBench：基于澳大利亚临床政策的大语言模型确定性评分基准
AusClinBench: a deterministically scored benchmark of large language models against current Australian clinical policy
AI 导读
研究团队构建 AusClinBench 基准，基于澳大利亚临床指南编写 142 道问题，测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间；在提供条款时，86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%，基准旨在评估模型对本地规则的掌握情况，而非授权临床使用。
来源：arXiv · NLP · arxiv.org