AlAd框架提升压缩Transformer性能

Rohit Raj Rai等研究人员提出Alignment Adapter (AlAd)框架，旨在通过事后对齐压缩模型与参考模型的token embedding来提升性能。 AlAd是一个小型前馈网络，置于压缩模型最终层后，能读取相邻token窗口利用局部上下文。研究以BERT-base为参考模型，评估四个BERT压缩变体在POS标注、NER及抽取式问答任务上的表现。 实验结果显示，AlAd改善了上述四个变体的性能。在两种实验设定中，压缩模型可保持冻结或联合微调，其中联合微调的效果优于冻结模型。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。