arXiv · ML· Andrea Miele, Ilija Bogunovic·· 24 天前AI 评分30
球面布朗扩散语言模型研究
Spherical Brownian Diffusion for Language Modeling
AI 导读
论文提出球面布朗扩散(Spherical Brownian Diffusion)语言模型,采用布朗运动作为球面上各向同性扩散的标准前向过程。 模型结合交叉熵学习干净token后验支持多种采样器,并推导高维近似速率以分离破坏与推理。 在Sudoku上两种破坏过程结果近乎相同,而固定破坏过程时采样器选择带来25.0分差距。
来源:arXiv · ML · arxiv.org