arXiv · ML· Tue M. Cao, Nguyen Do, My T. Thai·· 7 小时前AI 评分28
用于稀疏自编码器特征匹配与电路压缩的语义最优传输
Semantic Optimal Transport for Sparse Autoencoder Feature Matching and Circuit Compression
AI 导读
研究提出基于语义最优传输的统一框架,利用Wasserstein距离估计稀疏自编码器(SAE)不同激活流形间的语义距离,解决跨层特征匹配与电路压缩难题。 特征表示采用激活加权分布而非单一解码向量,该方法对激活重缩放不变且对扰动稳定,在有限样本裕度条件下可恢复真实匹配。 经验证,该方法在性能上优于解码向量及大语言模型基线,并能自动将大型特征电路压缩为可解释的超节点。
来源:arXiv · ML · arxiv.org