跳到正文
arXiv · NLP· Ali H. Lazem, William Teahan·· 2026-10-21AI 评分24

CERTA:临床决策中无需最大LLM的统计证书

Do We Need the Largest LLMs for Every Clinical Decision?

AI 导读

CERTA 证明量化模型可替代 BF16 参考模型处理临床验证,8-bit 量化准确率达 99.8%-100%。 4-bit 量化使 Qwen2.5-72B 部署成本降至 BF16 的 25.8%,峰值内存 43.0 GB。 外部基准 F1 变化均值 0.045,该策略将压缩转化为风险可控部署。

来源:arXiv · NLP · arxiv.org