arXiv · NLP· Yunzhen He, Hiroaki Yamagiwa, Hidetoshi Shimodaira·· 4 天前AI 评分31
掩码扩散语言模型后训练中的全块无偏估计器:降低方差的策略
See Every Block Once: Variance-Reduced Post-Training for Masked Diffusion Language Models
AI 导读
针对掩码扩散语言模型(MDLM)后训练中块随机采样导致的高方差问题,研究人员提出了全块估计器,确保每个块仅评估一次。 该估计器在保持无偏性的同时消除了块选择带来的组间方差,在数学、规划等5个基准测试中平均比基线高出12.79分。
来源:arXiv · NLP · arxiv.org