arXiv · ML· Mingyu Yang, Sharath Turuvekere Sreenivas, Adithyakrishna Venkatesh Hanasoge, Nima Tajbakhsh, Ashwath Aithal, Pavlo Molchanov·· 16 小时前AI 评分32
CSD：用于跨词表模型知识迁移的公共支持蒸馏框架
CSD: Common-Support Distillation for Cross-Tokenizer Knowledge Transfer
AI 导读
研究者提出公共支持蒸馏（CSD），一种统一的基于 logits 的跨词表知识迁移框架，通过构建师生模型间的共享支持集来对齐预测分布。 CSD 在一对一对齐中显式使用公共 token 对，其他对齐通过自回归链式法则计算虚拟支持概率，并用残差事件确保分布归一化。
来源：arXiv · ML · arxiv.org