arXiv · AI· Gautam Gupta, Dikshant Kukreja, Unique Kumar, Avni Mittal, Deepanshu Dabas, Kshitij Sah, Erik Cambria, Rajiv Ratn Shah, Zhengkui Wang, Avinash Anand·· 14 天前AI 评分23
当更大变得脆弱:为何语言模型规模扩大后压缩负面影响加剧
When Bigger Becomes Brittle: Why Compression Hurts More as Language Models Scale
AI 导读
压缩导致小模型在上下文检索中恢复大部分损失,而大模型则保留大部分损失。研究通过分解注意力头消融的预期损失发现,随模型增大,网络补偿响应减弱。因此,在小模型中几乎无害的压缩在大模型中可能代价高昂。
来源:arXiv · AI · arxiv.org