跳到正文
arXiv · NLP· Tom Ulanovski, Eyal Blyachman, Maya Bechler-Speicher·· 13 小时前AI 评分37

LLM 层间几何改进最终表示:Cayley-Encoder 方法

Improving LLM Final Representations with Inter-Layer Geometry

AI 导读

轻量级图神经网络结合 Cayley-Encoder 架构改进 LLM 最终层表示,在 13 个任务中准确率达 48% 提升。 该方法利用 SL(2, Zn) 上的 Cayley 图替代全连接结构,实现稀疏且低直径的层间聚合,仅增加 0.1% 参数量。 Cayley-Encoder 在冻结 LLM 条件下优于 LoRA 微调,并有效支持小样本场景。

来源:arXiv · NLP · arxiv.org