arXiv · NLP· Zhongxin Chen, Songhao Wu, Heng Cui, Cong Li, Xiao Zhou, Rui Yan·· 6 小时前AI 评分23
SpecMRL 重新设计参数谱内的 Matryoshka 表示学习
SpecMRL: Redesign Matryoshka Representation Learning within Parametric Spectrum
AI 导读
SpecMRL 通过重组特征空间实现更有效的 MTEB 压缩性能,使用一半嵌入维度即超越全维度 MRL。 该方法引入参数导出的频谱基(parameter-derived spectral basis),在前缀读取时优先考虑信息量较大的方向。
来源:arXiv · NLP · arxiv.org