arXiv · AI· Ting Yang, Zijing Hong, Chengjie Wang, Peng Wei, Chunxiao Guo, Yun Yue, Xurui Li, Jinqun Guan, Zixiao Chen, Ant Group·· 2 天前AI 评分26
HealthCLBench:通过受控案例集群评估健康对话中的上下文学习
HealthCLBench:Evaluating Context Learning in Health Conversations through Controlled Case Clusters
AI 导读
研究团队提出 HealthCLBench,包含 328 个受控案例集群、1,103 个案例及 4,931 项评分标准,用于评估模型在固定参数下整合健康上下文的能力。该基准由 70 人医疗团队标注,自动化判断与人工复核在评分项级别的一致率达 90.5%。测试显示 GPT-6-Astra 在完整上下文指标上领先,暴露了模型在检查历史信息及表达不确定性方面的缺陷。
来源:arXiv · AI · arxiv.org