跳到正文
arXiv · ML· Inhyeok Lee, Luke Solo, Michael C. Burkhart, Bashar Ramadan, Sahil Sethi, Sarah Jabbour, William F. Parker, Brett K. Beaulieu-Jones·· 3 天前AI 评分30

生成式医疗事件模型中 156 个模型的 Tokenization 基准测试

Representation Before Training: A Practical Benchmark for Generative Medical Event Model Tokenization

AI 导读

基准测试了 156 个采用 Llama-3.2 和 Qwen3 架构的生成式医疗事件模型,重点评估 Tokenization 决策。 融合 Token 在 8 个结果家族中的 6 个产生显著增益,Spearman 相关系数提升 0.032 至 0.114。 将输入映射至 CLIF 格式可减少 71.4% 训练 Token 和 97.8% 词表大小。

来源:arXiv · ML · arxiv.org