arXiv · ML· Sayeh Sharify, Mahsa Salmani, Hesham Mostafa·· 11 天前AI 评分39
DiRotQ: 面向4位扩散Transformer的感知旋转量化框架
DiRotQ: Rotation-Aware Quantization for 4-bit Diffusion Transformers
AI 导读
DiRotQ提出W4A4 PTQ框架,通过PCA低秩子空间保持关键激活分量的高精度。 在PixArt模型上,DiRotQ取得FID 15.9、PSNR 19.1 dB,优于SVDQuant的FID 18.9。 Triton内核使12B FLUX.1-dev模型内存降低2.1倍,RTX 4090上推理速度提升2.3倍。
来源:arXiv · ML · arxiv.org