arXiv · ML· Hamza Etcibasi, Ramazan Gokberk Cinbis·· 6 小时前AI 评分32
RPKD 通过随机原型空间实现知识蒸馏
You Don't Need Aligned Representations: Knowledge Distillation via Random Prototype Spaces
AI 导读
RPKD 模型通过对比共享的随机冻结原型向量向量，放弃对教师与学生特征空间对齐的传统假设。该方法包含 Logit 和 Feature 两个分支，分别在随机特征嵌入空间中操作。
来源：arXiv · ML · arxiv.org