跳到正文
arXiv · ML· Xiang Gao, Haresh Rengaraj Rajamohan, Weicheng Zhu, Shih-Lun Huang, Long Chen, Gabe Schulman, Huizhen Jin, Shengduo Li, Yixuan Wang, Huidi Yang, Kyunghyun Cho, Cem M. Deniz, Narges Razavian·· 14 天前AI 评分25

RAVEN:基于递归感知基础模型的临床记录序列建模

Scaling Recurrence-aware Foundation Models for Clinical Records via Next-Visit Prediction

AI 导读

RAVEN 利用递归感知预训练策略,在包含超 100 万独立个体的数据集上学习自回归生成临床事件,零-shot 预测性能超越标准下一词元模型并比肩微调表示模型。 该模型在数据受限、算力饱和场景下验证了单纯增大模型尺寸并非最优策略,且能泛化至外部患者队列。

来源:arXiv · ML · arxiv.org