arXiv · NLP· Hongcan Guo, Yian Zhao, Feng Wang, Shen Nie, Guoqiang Wei, Yan Zeng, Hengshuang Zhao·· 3 小时前AI 评分33
Cola2 提出连续语义压缩与平衡离散生成的协同分层语言建模框架
Cola2: Co-Adaptive Hierarchical Language Modeling with Continuous Semantic Compression and Balanced Discrete Generation
AI 导读
Cola2 框架结合连续语义压缩与平衡离散生成，动态分割语义片段并通过无辅助损失负反馈控制压缩率。 使用 3460.3 亿源 token 训练，未收敛检查点在 8 个任务平均分 60.10，并在 HellaSwag 和 StoryCloze 上超越 Llama-3-8B。 实验验证了该架构在 2100 亿训练 token 规模下的竞争优势，展示了连续潜在空间分层生成的潜力。
来源：arXiv · NLP · arxiv.org