arXiv · AI· Bruce Changlong Xu, Muhammed Shahir Abdurrahman, Hashem Elezabi·· 6 小时前AI 评分26
Typhoon：基于梯度的任务特定掩码策略评估
Typhoon: Gradient-Based Task-Specific Masking for Masked Language Models
AI 导读
Typhoon 是一种利用掩码语言模型损失梯度评估词元贡献的动态掩码策略，旨在改进下游任务迁移效果。 实验在 TinyBERT、DistilBERT 和 BERT-base 上测试 Typhoon，对比随机及整词掩码，共执行 90 次训练。 多随机种子评估表明 Typhoon 在 MRPC 和 CoLA 任务上未优于基线，其单轮性能优势在统计检验中不显著。
来源：arXiv · AI · arxiv.org