跳到正文
Hugging Face Blog·· 2024-05-16AI 评分52

Transformers 新增 KV Cache 量化功能支持更长文本生成

Unlocking Longer Generation with Key-Value Cache Quantization

AI 导读

Hugging Face 在 Transformers 中新增 KV Cache 量化功能,可将 key-value cache 压缩至 int2 至 int8,在 Llama2-7b-chat 上 int4 精度相比 fp16 在 LongBench 等基准上基本无损,同时显著降低显存占用。

来源:Hugging Face Blog · huggingface.co