跳到正文
arXiv · NLP· Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan·· 6 小时前AI 评分23

SpecMRL 重新设计参数谱内的 Matryoshka 表示学习

SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum

AI 导读

SpecMRL 通过重组特征空间实现更有效的 MTEB 压缩性能,使用一半嵌入维度即超越全维度 MRL。 该方法引入参数导出的频谱基(parameter-derived spectral basis),在前缀读取时优先考虑信息量较大的方向。

来源:arXiv · NLP · arxiv.org