arXiv · ML· Justin Deschenaux, Caglar Gulcehre·· 17 小时前AI 评分41
S-FLM 提出超球面流语言模型以优化大规模词表推理
Language Modeling with Hyperspherical Flows
AI 导读
S-FLM 将连续流语言模型迁移至超球面潜在空间,通过旋转向量生成序列,避免了传统 FLM 中 one-hot 向量的高昂计算开销。 该方法在大词表推理任务上显著提升了连续流模型性能,在标准温度采样下缩小了与掩码扩散模型的差距。
来源:arXiv · ML · arxiv.org