DeepMem因果多尺度架构提升字节级建模效率

2026年11月4日，arXiv发布DeepMem论文。该架构提出因果多尺度设计，将语义压缩与字节精确保留分离。在FineWeb-Edu等数据集上，其表现优于同等规模的字节级Transformer。 架构通过可逆子带变换构建层级序列，瓶颈细化计算量较全分辨率推理降低约7600倍。测试显示，DeepMem在代码建模、多选题推理及字节级损坏鲁棒性方面保持竞争力，并在PIQA任务中提升了准确率。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。