跳到正文
arXiv · NLP· Jie Sun, Mao Zheng, Mingyang Song, Qiyong Zhong, Gengsheng Li, Zhepei Hong, Chang Wu, Pengfei Liu, Junfeng Fang, Xiang Wang·· 12 小时前AI 评分23

EasyOPD:基于 verl 的大语言模型在线策略蒸馏框架

EasyOPD: An Easy-to-use On-Policy Distillation Framework for Large Language Models

AI 导读

EasyOPD 是基于分布式强化学习框架 verl 开发的在线策略蒸馏框架,支持跨 tokenizer、自蒸馏及步进式蒸馏三种场景。 该框架通过解耦用户配置、监督逻辑与执行后端,提供 YAML 配置文件、文档及安装演示包。 实验显示其能在推理、代码生成等基准任务中保留特定目标并展现差异化性能表现。

来源:arXiv · NLP · arxiv.org