arXiv · NLP· Maroof Kousar, Jinsung Han, Mohit Chandra, Munmun De Choudhury, Yibo Hu·· 8 小时前AI 评分33
DoseBench 评估 LLM 在非处方药剂量问答中的决策能力
Can I Take Another Dose? DoseBench: Evaluating LLM Decision-Making in OTC Dosing QA
AI 导读
DoseBench 基准测试了 8 个 LLM 回答 230 个对乙酰氨基酚和布洛芬剂量问题的表现，整体准确率介于 44.8% 至 62.2% 之间。 模型错误批准了 14.0% 至 60.5% 的禁止剂量，且增加指引或药物事实虽能调整谨慎度或提升准确率，但无法轻易解决忽略缺失信息等根本缺陷。
来源：arXiv · NLP · arxiv.org