arXiv · NLP· Jungwoo Park, Taewhoo Lee, Jaewoo Kang·· 2026-10-14AI 评分23
UltraBERT:突破 BERT 预训练极限,实现分类与检索任务 SOTA
UltraBERT: Beyond the Limit of BERT Pre-Training
AI 导读
UltraBERT 成为首个在分类和检索任务上均达到 SOTA 的双向编码器,GLUE 得分 91.0,BEIR 得分 47.7。 研究发现编码器性能在数万亿 token 后饱和,且不同掩码比率对分类和检索的收益相反。UltraBERT 通过分离低/高掩码比率的 LM head 并限制蒸馏目标优化模型,为双向模型设计提供了原则基础。
来源:arXiv · NLP · arxiv.org