arXiv · ML· Aaron Maiwald, Roderick McNeill, Jaeyoung Lee, Matthew A. Clarke, Lennart Justen, Alejandro Acelas, Ivo Andrews, Giles Harper-Donnelly, Adam Moore, Sophie Rose, Oliver M. Crook, Felix Jackson·· 9 小时前AI 评分36
ESM-2 蛋白质语言模型预训练数据过滤有效性与耐久性研究
The Effectiveness and Durability of Pretraining Data Filtering in Protein Language Models
AI 导读
研究发现，在 ESM-2 蛋白质语言模型中过滤病毒蛋白数据会显著降低针对病毒蛋白的任务表现，但对非病毒蛋白影响有限。 随着模型参数从 8M 扩展至 3B，严格过滤的效果增强；使用 H100 进行微调可恢复性能，最大模型仅需约 80 USD 计算成本。 这确立了预训练过滤在选择性削弱病毒相关性能上的中等有效性，但其效果对微调不具备耐久性。
来源：arXiv · ML · arxiv.org