arXiv · ML· Ryan Swift, Konstantinos Psounis·· 3 小时前AI 评分28
RAPID：通过随机化方法提升内部蒸馏效率
RAPID: Increasing Efficiency of Internal Distillation via Randomized Methods
AI 导读
研究人员提出 RAPID 蒸馏方法，利用随机投影替代可学习矩阵以消除投影器学习开销。 该方法基于 Johnson-Lindenstrauss 引理构建变换，并引入 EMA 与不确定性加权的多目标函数。 实验显示 RAPID 在推理后训练中提升了高达 21.1% 的效率，且性能与现有方法相当。
来源：arXiv · ML · arxiv.org