跳到正文
arXiv · NLP· Fengyu Cai, Tong Chen, Xinran Zhao, Sihao Chen, Hongming Zhang, Sherry Tongshuang Wu, Iryna Gurevych, Heinz Koeppl·· 3 天前AI 评分42

Revela: 基于语言建模的高密度检索器学习

Revela: Dense Retriever Learning via Language Modeling

AI 导读

该研究提出Revela,一个用于自监督检索器学习的可扩展训练框架。它通过在批内注意机制中引入检索器相似度加权的上下文,将检索建模为token块间的依赖关系学习。

来源:arXiv · NLP · arxiv.org