跳到正文
arXiv · ML· Xin Wang, Hao Yu, Zhengyang Zhuge, Bochao Mao, Zheng Li, Junda Feng, Yuyan Luo, Yi Zhang, Yizhong Cao, Mi Zhang, Dayiheng Liu, Jianwei Zhang·· 2026-10-07AI 评分43

TRACE: MoE 大语言模型 FP4 强化学习中由 rollout 引导的量化感知训练

TRACE: Rollout-Guided Quantization-Aware Training for FP4 Reinforcement Learning of MoE Language Models

AI 导读

TRACE 提出一种用于 MoE 大语言模型 FP4 强化学习训练的量化感知训练框架,通过在 rollout 侧生成 FP4 权重与激活以及 FP4 KV-cache 的推理路径来直接降低训练与 rollout 之间的量化差异。

来源:arXiv · ML · arxiv.org