跳到正文
arXiv · NLP· Oliver Giudice, Anna Russo Russo·· 16 小时前AI 评分25

基于 KAN 的非线性分解用于嵌入层压缩

A KAN-based Non-linear Factorization for Embedding Layer Compression

AI 导读

提出一种基于 KAN 范式的增强分解方案,通过引入可学习非线性投影解决嵌入层低秩分解的线性瓶颈限制。 该方法集成至 Skip-gram 框架,在 Word Analogy 等基准上对比了匹配参数预算下的标准低秩基线。 结果证明非线性投影能缓解线性瓶颈限制,在固定维度下生成更忠实的压缩嵌入。

来源:arXiv · NLP · arxiv.org