跳到正文
arXiv · AI· An Nguyen, Anh Tong·· 13 小时前AI 评分35

SaMA:基于 Kronecker 积非对称扩展的形态适应

SaMA: Morpho Adaptation via Asymmetric Expansion of Kronecker Product

AI 导读

SaMA 通过 Kronecker 积的推广解决了 LoRA 中优化瓶颈和参数效率问题。 其有效秩随参数预算二次增长至满秩,且不变流形塌缩为对角群,更适合优化器。 SaMA 在常识与算术推理基准上优于 PEFT 基线,参数效率更高。

来源:arXiv · AI · arxiv.org