跳到正文
arXiv · ML· Denis Makhov, Dmitriy Shopkhoev, Magauiya Zhussip, Ammar Ali, Baher Mohammad, Stamatios Lefkimmiatis·· 24 天前AI 评分23

COMPOT 是一种无训练 Transformer 压缩框架,使用校准数据集估计稀疏权重分解,通过正交字典和 Procrustes 更新降低优化成本。

COMPOT: Calibration-Optimized Matrix Procrustes Orthogonalization for Transformers Compression

AI 导读

COMPOT 引入一次性动态分配策略,在不同层间自适应重新分配压缩率,实现了比强低秩和稀疏基线更优的质量-压缩权衡。 该框架与后置训练量化完全兼容,支持极端压缩场景。

来源:arXiv · ML · arxiv.org