跳到正文
arXiv · ML· Faias Satter, Shaker Islam, Aminul Islam·· 10 天前AI 评分30

Sequence Pruning:DNA序列预训练的动态剪枝框架

Pruning DNA Sequence

AI 导读

研究提出Sequence Pruning(SP)动态剪枝框架,在DNA语言模型预训练中移除易预测序列,最高将数据处理量降低96%。 SP在五个预训练设置及五个基因组基准上验证,适度剪枝使性能提升1.2 MCC,最高节省场景仅用4%基线GPU时长且性能损失微小。 SP在多数对比中优于InfoBatch和BPAS动态剪枝方法,代码已开源。

来源:arXiv · ML · arxiv.org