arXiv · NLP· Guanghao Zhu, Zeyu Liu, Zhitian Hou, Pengkai Wang, Zhijie Sang, Yang Yu, Minheng Ni, Wenjun Wang, Yanggan Gu, Shuo Cai, Congkai Xie, Jianmin Wu, Hongxia Yang·· 2026-10-08AI 评分37
Beyond Captions: 基于上下文定位的重建用于生物医学多模态持续预训练
Beyond Captions: Context-Grounded Reconstruction for Biomedical Multimodal Continued Pretraining
AI 导读
提出一种上下文定位重建框架,将 PubMed 开放获取记录转化为连贯的多模态序列,构建 9.63B token 语料库进行持续预训练。 该方法修复非连续上下文并裁剪无支持图像,在固定 SFT 下使 Qwen3.5-4B-Base 医疗平均分提升 1.46 分,通用/科学平均分提升 3.11 分。
来源:arXiv · NLP · arxiv.org