AusClinBench澳洲临床基准发布
热点事件持续更新
AusClinBench澳洲临床基准发布
1 篇报道1 个报道来源5 小时前更新
先了解这件事
AI 综述
Daniel S. Epstein 团队于 2026 年 10 月 26 日发布 AusClinBench 基准。该基准基于澳大利亚临床指南编写了 142 道确定性评分问题,用于测试 28 个大语言模型。在盲测条件下,模型准确率介于 51.5% 与 92.7% 之间;置信错误率范围为 6.6% 至 47.8%。研究指出,提供条款依据后,86% 的盲测错误得以纠正。该基准旨在评估模型对本地规则的掌握情况,明确其衡量对象为基座模型而非临床产品,且不对任何模型授权临床使用。
AI 根据报道生成 · 2 小时前更新
最新进展10月26日 12:00
AusClinBench:基于澳大利亚临床政策的大语言模型确定性评分基准报道时间线
沿着报道,了解事件的不同侧面。
10月26日
- arXiv · NLPAusClinBench:基于澳大利亚临床政策的大语言模型确定性评分基准
研究团队构建 AusClinBench 基准,基于澳大利亚临床指南编写 142 道问题,测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间;在提供条款时,86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%,基准旨在评估模型对本地规则的掌握情况,而非授权临床使用。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。