arXiv · NLP· Oscar Freyer, Daniel Glauert, Moritz Hofmann, Max Ostermann, Stephen Gilbert, Jakob Nikolas Kather·· 5 小时前AI 评分25
决策模型与生成式大语言模型在医学多选题基准测试中的对比研究
Benchmarking decision models against generative large language models on medical multiple-choice questions
AI 导读
研究对比了13个决策模型与15种生成式LLM配置，在1,273道MedQA四选一题目中测试表现。 决策模型准确率在67.71%至89.08%之间，生成式配置达78.32%至96.86%；Mercury Decide单次成本最低（每千题0.0069美元），Clef Omni中位请求时长最短（0.291秒）。 决策模型在资源效率上占优但峰值准确率较低，模型选择需综合考量概率质量、重复性及纠错资源需求。
来源：arXiv · NLP · arxiv.org