文本嵌入模型中层次化表示与量化的性能权衡研究

基准测试表明，将嵌入维度减少8倍并结合int8量化，可在保持94.4%基线有效性的同时实现每向量存储减少32倍。 研究评估了4个Transformer嵌入模型在38项MTEB任务上的表现。int8量化在任务分类中整体损失不超过1.5个百分点，而二值量化表现显著更差；检索任务的性能退化速度快于其他类别。