arXiv · ML· Sihan Yang, Jie Huang, Hanxuan Li, Yifan Guo, Weigao Sun, Yiran Zhong, Weiyang Liu·· 6 小时前AI 评分35
TTR-Compressor 利用测试时回归提升序列压缩效率
Rethinking Sequence Compression with Test-time Regression
AI 导读
TTR-Compressor 将序列压缩重构为测试时回归问题，通过闭式解计算系数作为压缩表示，替代传统池化与投影方法。 在块级稀疏注意力中，该方法显著提升 RULER 基准测试性能；在多模态视觉 token 合并中，以 55.6% 更少的视觉 token 数量达到与标准 MLP merger 相当的效果。
来源：arXiv · ML · arxiv.org