DeepMem：提出因果多尺度架构实现高效字节级语言建模

DeepMem 提出因果多尺度架构，将语义压缩与字节精确保留分离，在 FineWeb-Edu 等数据集上表现优于同等规模的字节级 Transformer。 该架构通过可逆子带变换构建层级序列，瓶颈细化计算量较全分辨率推理降低约 7,600 倍。 DeepMem 在代码建模、多选题推理及字节级损坏鲁棒性方面保持竞争力，并在 PIQA 任务中提升准确率。