跳到正文
arXiv · NLP· Stephen Chung, Wenyu Du·· 12 小时前AI 评分25

Chorus: 采用层自适应机制的共享 N-gram 嵌入方法

Chorus: Shared N-gram Embeddings with Layer-wise Adaptation

AI 导读

Chorus 通过层自适应机制让所有网络层共享同一套 n-gram 嵌入表,在将表参数压缩至 1.2B 的情况下,预测性能优于使用 9.6B 参数的 FactorEngram 和 DeepSeek Engram。

来源:arXiv · NLP · arxiv.org