医学基准测试对比决策模型与生成式LLM表现

一项发布于 arXiv 的 NLP 研究对比了 13 个决策模型与 15 种生成式大语言模型配置，测试对象为 1,273 道 MedQA 四选一医学题目。测试结果显示，决策模型的准确率范围在 67.71% 至 89.08% 之间，而生成式配置的准确率则达到 78.32% 至 96.86%，后者在峰值准确率上表现更为优异。 在资源效率方面，决策模型具有明显优势。具体数据显示，Mercury Decide 模型单次成本最低，每千题成本仅为 0.0069 美元；Clef Omni 模型的中位请求时长最短，仅为 0.291 秒。尽管决策模型成本更低、响应更快，但其准确率上限低于生成式模型。 研究结论指出，模型选择不能仅看单一指标，需综合考量概率质量、重复性及纠错资源需求。决策模型虽在资源效率上占优，但峰值准确率较低；生成式模型准确率更高但成本与耗时相对较多，用户需根据具体医疗场景的资源约束与精度要求进行权衡。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。