arXiv · NLP· Mingkang Liu, Weiming Meng, Peipei Jiao, Jiawei Zhang, Tianyuan Liu, Junyan Li, Lichen Pang·· 16 小时前AI 评分33
RCSD：基于强化学习与持续学习的领域特定推测解码框架
RCSD: Reinforcement and Continual Learning for Domain-Specific Speculative Decoding
AI 导读
RCSD 提出通过强化学习和持续学习优化推测解码中的草稿模型，将训练目标对齐于最大化系统级接受长度。 该框架利用推测推理中自然产生的接受/拒绝序列构建隐式偏好对，并采用掩码损失避免惩罚与目标模型对齐的 token，克服了传统软标签蒸馏在高熵区域导致接受率下降的问题。
来源：arXiv · NLP · arxiv.org