arXiv · ML· Jed A. Duersch, Na\"im Es-Sebbani, Nathana\"el Haas, Zied Bouraoui·· 8 小时前AI 评分23
GaugeLasso：通过规范校正通道移除实现 Transformer 密集结构压缩
Dense Structural Compression of Transformers via Gauge-Correct Channel Removal
AI 导读
提出 GaugeLasso 方法，在训练阶段自适应移除 Transformer 低效用通道以实现结构压缩。 该方法通过加性对称群 lasso 罚项解决规范自由度导致的去稳定问题。
来源：arXiv · ML · arxiv.org