arXiv · ML· Baher Mohammad, Ammar Ali, Stamatios Lefkimmiatis·· 7 天前AI 评分35
GeoPair:面向免训练 Transformer 压缩的保形跨层分解方法
GeoPair: Geometry-Preserving Cross-Layer Factorization for Training-Free Transformer Compression
AI 导读
GeoPair 提出一种免训练框架,通过顺序优化跨层权重配对和共享字典分解,在保持各层激活几何结构的同时实现高效权重分解,并在多种架构、规模和模态上取得 SOTA 结果。 该方法替代启发式分组策略,结合结构化稀疏性,在保持功能保真度的前提下持续优于独立结构化权重分解和成对权重分解。 GeoPair 建立了可扩展、跨模态 Transformer 压缩的理论基础。
来源:arXiv · ML · arxiv.org