Hugging Face Blog·· 2024-05-16AI 评分52
Transformers 新增 KV Cache 量化功能支持更长文本生成
Unlocking Longer Generation with Key-Value Cache Quantization
AI 导读
Hugging Face 在 Transformers 中新增 KV Cache 量化功能,可将 key-value cache 压缩至 int2 至 int8,在 Llama2-7b-chat 上 int4 精度相比 fp16 在 LongBench 等基准上基本无损,同时显著降低显存占用。
来源:Hugging Face Blog · huggingface.co