arXiv · ML· Jay Agarwal, Siddharth Khare, Dhruv Kumar·· 29 天前AI 评分30
基础模型知识蒸馏在高效 Jet Tagging 中的应用研究
How Far Can Foundation Models Be Distilled for Efficient Jet Tagging?
AI 导读
研究人员通过知识蒸馏将六个教师模型性能迁移至小型学生模型,用于大型强子对撞机 Jet Tagging。 所有教师模型均能提升对应学生模型表现,增益主要取决于教师强度。 2 万参数的 L-GATr-slim 学生模型性能超过从零训练的公开模型,2 千参数版本性能匹配参数量为其 1000 倍的 ParT 模型,推理成本大幅降低。
来源:arXiv · ML · arxiv.org