arXiv · NLP· Cheng Luo, Xinnan Dai, Zhongzhu Zhou, Zefan Cai, Ruijie Zhu, Tianyu Zhang, Junjie Hu·· 10 天前AI 评分23
onóna:双嵌入表与绑定非嵌入层的两表参数化方法
on\'ona: Twin Embeddings with Tied Unembeddings
AI 导读
onóna提出一种双表参数化方法,通过在输入端取两个嵌入表平均值、输出端混合两个softmax分布,在保持权重共享的同时增强输出表达力。 该方法门控值仅依赖当前输入token,推理时可预计算,Transformer主体不变。在142M、330M和1B规模下测试,12组对比中11组验证损失和外部困惑度降低,8项下游任务中10组准确率提升。
来源:arXiv · NLP · arxiv.org