arXiv · NLP· Sai Kiran Bathula·· 8 小时前AI 评分35
嵌入表被高估？小模型与三元语言模型的低成本冻结词汇方案
Embeddings Are Overpriced? A Frozen 16 MB Vocabulary for Small and Ternary Language Models
AI 导读
研究以冻结的16 MB 512-bit词表替代Gemma 3 270M的可训练嵌入层，整体模型压缩至46 MB。 该方案训练后性能在LAMBADA和PIQA等基准上不劣于基线，稀有词处理优于学习式嵌入。 结合三元BitNet架构，模型在笔记本CPU上实现615-740 tokens/秒生成，内存占用仅为基线的七分之一。
来源：arXiv · NLP · arxiv.org