跳到正文
热点事件持续更新

AusClinBench澳洲临床基准发布

1 篇报道1 个报道来源5 小时前更新

先了解这件事

AI 综述

Daniel S. Epstein 团队于 2026 年 10 月 26 日发布 AusClinBench 基准。该基准基于澳大利亚临床指南编写了 142 道确定性评分问题,用于测试 28 个大语言模型。在盲测条件下,模型准确率介于 51.5% 与 92.7% 之间;置信错误率范围为 6.6% 至 47.8%。研究指出,提供条款依据后,86% 的盲测错误得以纠正。该基准旨在评估模型对本地规则的掌握情况,明确其衡量对象为基座模型而非临床产品,且不对任何模型授权临床使用。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月26日
  1. arXiv · NLP
    AusClinBench:基于澳大利亚临床政策的大语言模型确定性评分基准

    研究团队构建 AusClinBench 基准,基于澳大利亚临床指南编写 142 道问题,测试 28 个大语言模型在盲测及提供依据条款下的表现。 盲测准确率介于 51.5% 与 92.7% 之间;在提供条款时,86% 的盲测错误得以纠正。置信错误率范围为 6.6% 至 47.8%,基准旨在评估模型对本地规则的掌握情况,而非授权临床使用。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。