跳到正文
arXiv · ML· Arnab Sanyal, Sandeep Chinchali·· 3 天前AI 评分30

Chameleon:面向高效扩散模型的后训练量化动态格式适配器

Chameleon: Dynamic Format Adapter for Efficient Diffusion

AI 导读

扩散模型后训练量化(PTQ)框架 Chameleon 提出将数值格式作为动态变量,在固定位宽下按权重通道、激活层及时间步桶动态选择量化格式,以优化内存受限加速器上的推理效率。

来源:arXiv · ML · arxiv.org