arXiv · NLP· Stephen Chung, Wenyu Du·· 12 小时前AI 评分25
Chorus: 采用层自适应机制的共享 N-gram 嵌入方法
Chorus: Shared N-gram Embeddings with Layer-wise Adaptation
AI 导读
Chorus 通过层自适应机制让所有网络层共享同一套 n-gram 嵌入表,在将表参数压缩至 1.2B 的情况下,预测性能优于使用 9.6B 参数的 FactorEngram 和 DeepSeek Engram。
来源:arXiv · NLP · arxiv.org