arXiv · ML· Junyi Zou, Avrova Donz·· 9 天前AI 评分24
LARC:用于冻结模型学习的低秩自适应残差连接
LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models
AI 导读
LARC 为冻结模型提供紧凑数值状态,在 MiniCPM5-1B-SFT 上两次反馈更新使查询执行误差降低 24.65 和 36.65 个百分点。 采用 rank-4 残差与 12,288 个因子条目,在四候选开发任务中实现 16 个参数组更新,支持损失规则误差达 0.78125%。 研究揭示了数值状态辅助后续读取的条件,训练参考系在部分场景下比内存适应更有效。
来源:arXiv · ML · arxiv.org