跳到正文
arXiv · NLP· Yunzhen He, Hiroaki Yamagiwa, Hidetoshi Shimodaira·· 4 天前AI 评分31

掩码扩散语言模型后训练中的全块无偏估计器:降低方差的策略

See Every Block Once: Variance-Reduced Post-Training for Masked Diffusion Language Models

AI 导读

针对掩码扩散语言模型(MDLM)后训练中块随机采样导致的高方差问题,研究人员提出了全块估计器,确保每个块仅评估一次。 该估计器在保持无偏性的同时消除了块选择带来的组间方差,在数学、规划等5个基准测试中平均比基线高出12.79分。

来源:arXiv · NLP · arxiv.org