跳到正文
Hugging Face Blog·· 2021-10-25AI 评分38

Hugging Face 团队使用 10 亿训练对构建先进句向量模型

Train a Sentence Embedding Model with 1B Training Pairs

AI 导读

Hugging Face 团队在“训练史上最佳句向量模型”项目中,利用 10 亿句对训练数据开发了最先进的句向量模型。该模型基于 Transformer 架构,采用 InfoNCE 对比学习方法,通过增大批量规模、引入困难负样本及跨数据集混合批次优化性能。

来源:Hugging Face Blog · huggingface.co