arXiv · ML· Hei Yi Mak, Shadan Golestan, Hoang Le, Mehran Taghian Jazi, Yunke Peng, Yaoyuan Wang, Yao Wang, Junsong Wang, Tianchi Hu, Fengchen He, Guipeng Hu, Tanzila Rahman, Anandharaju Durai Raju·· 10 天前AI 评分20
HiFloat4 格式支持大语言模型端到端 FP4 强化学习后训练
HiFloat4 Format for End-To-End Reinforcement Learning Post-Training of Large Language Models
AI 导读
研究提出 HiFloat4 格式及 Rollout-ResQ 方法,实现首次端到端 FP4 强化学习后训练,Qwen2.5-3B 模型精度差距从 3.59% 缩至 1.39%。
来源:arXiv · ML · arxiv.org