跳到正文
arXiv · NLP· Cheng Luo, Xinnan Dai, Zhongzhu Zhou, Zefan Cai, Ruijie Zhu, Tianyu Zhang, Junjie Hu·· 10 天前AI 评分23

onóna:双嵌入表与绑定非嵌入层的两表参数化方法

on\'ona: Twin Embeddings with Tied Unembeddings

AI 导读

onóna提出一种双表参数化方法,通过在输入端取两个嵌入表平均值、输出端混合两个softmax分布,在保持权重共享的同时增强输出表达力。 该方法门控值仅依赖当前输入token,推理时可预计算,Transformer主体不变。在142M、330M和1B规模下测试,12组对比中11组验证损失和外部困惑度降低,8项下游任务中10组准确率提升。

来源:arXiv · NLP · arxiv.org