热点事件持续更新

冻结词汇嵌入研究：46MB模型低成本高性能方案

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

研究人员Sai Kiran Bathula发布论文，提出以冻结的16MB 512-bit词表替代Gemma 3 270M的可训练嵌入层，旨在探索低成本小模型方案。该方案结合三元BitNet架构，将整体模型压缩至46MB。测试显示，模型在LAMBADA和PIQA基准上性能不劣于基线，且稀有词处理优于学习式嵌入。实验结果表明，该模型在笔记本CPU上生成速度达615-740 tokens/秒，内存占用仅为基线的七分之一，相关代码与结果已公开。

AI 根据报道生成 · 7 小时前更新

最新进展10月19日 12:00

嵌入表被高估？小模型与三元语言模型的低成本冻结词汇方案

报道时间线

沿着报道，了解事件的不同侧面。

10月19日

12:00
arXiv · NLP
嵌入表被高估？小模型与三元语言模型的低成本冻结词汇方案
研究以冻结的16 MB 512-bit词表替代Gemma 3 270M的可训练嵌入层，整体模型压缩至46 MB。该方案训练后性能在LAMBADA和PIQA等基准上不劣于基线，稀有词处理优于学习式嵌入。结合三元BitNet架构，模型在笔记本CPU上实现615-740 tokens/秒生成，内存占用仅为基线的七分之一。

本事件热度走势

可比范围当前: 8
可比范围峰值: 1010月19日 13:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。