跳到正文
arXiv · AI· Ryan Lucas, Petros Prastakos, Rahul Mazumder·· 17 小时前AI 评分39

TRQ 方法通过在线时序旋转提升 2-bit KV-Cache 量化性能

Online Temporal Rotations for 2 Bit KV-Cache Quantization in Video Diffusion Transformers

AI 导读

提出 TRQ 方法,通过在线时序旋转将 2-bit KV-Cache 量化的 VBench 主体一致性从 QVG 的 90.38 提升至 92.02。 针对 LongCat-Video-13B 和 HY-WorldPlay-8B 模型,TRQ 使用无梯度拟合的正交变换和 2-bit 平面旋转树,配合固定 Hadamard 变换。

来源:arXiv · AI · arxiv.org