arXiv · NLP· Xujun Che, Farsheed Haque, Depeng Xu, Xi Niu, Haopeng Zhang·· 4 小时前AI 评分23
扩散语言模型中采样器诱导的偏差：谁被“去掩码”？
Who Gets Unmasked? Sampler-Induced Bias in Diffusion Language Models
AI 导读
扩散语言模型（dLLMs）的采样器决策不仅决定写入哪个token，还决定何时提交，从而在模型自身偏差之上引入“采样器诱导偏差”。在LLaDA和Dream模型中，常见的“窥视”采样规则（如LLaDA默认规则）会放大职业性别刻板印象并压缩观点分布，且快速并行解码下偏向男性的倾向更强。
来源：arXiv · NLP · arxiv.org