arXiv · NLP· Rohit Raj Rai, Abhishek Dhaka, Amit Awekar·· 3 小时前AI 评分20
事后嵌入对齐改进压缩Transformer性能
Improving the Performance of Compressed Transformers with Post-Hoc Embedding Alignment
AI 导读
提出Alignment Adapter (AlAd)框架，通过事后对齐压缩模型的token embedding与参考模型以提升下游任务性能。 AlAd是一个置于压缩模型最终层后的小型前馈网络，可读取相邻token窗口利用局部上下文。使用BERT-base作为参考，在POS标注、NER和抽取式问答任务上，AlAd能改善四个BERT压缩变体表现，且联合微调效果优于冻结模型。
来源：arXiv · NLP · arxiv.org