跳到正文
arXiv · ML· Hei Yi Mak, Shadan Golestan, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Yaoyuan Wang, Yao Wang, Junsong Wang, Tianchi Hu, Fengchen He, Guipeng Hu, Tanzila Rahman, Anandharaju Durai Raju·· 10 天前AI 评分20

HiFloat4 格式支持大语言模型端到端 FP4 强化学习后训练

HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models

AI 导读

研究提出 HiFloat4 格式及 Rollout-ResQ 方法,实现首次端到端 FP4 强化学习后训练,Qwen2.5-3B 模型精度差距从 3.59% 缩至 1.39%。

来源:arXiv · ML · arxiv.org