跳到正文
arXiv · NLP· Jialu Li, Li Fang·· 3 天前AI 评分20

Bioformer-RetroMAE:面向检索的紧凑型生物医学语言模型预训练

Bioformer-RetroMAE: retrieval-oriented pretraining of a compact biomedical language model for literature search

AI 导读

Bioformer-RetroMAE 基于 RetroMAE 对 Bioformer 进行持续预训练,参数量仅为 43M。 在 BioASQ Task 12B 检索测试中,其 MAP 较 PubMedBERT 提升 37.0%,Recall@100 提升 29.1%。 与 BM25 混合检索融合后,MAP 和 NDCG@10 分别较 BM25 单独检索提升 4.9% 和 4.6%。

来源:arXiv · NLP · arxiv.org