arXiv · ML· Jake Hyun, Ziyu Zhao, Jae-sun Seo, Mohamed S. Abdelfattah·· 23 小时前AI 评分30
StrataFlux：面向低比特 LLM 推理的内存层级原生框架
StrataFlux: Memory-Hierarchy-Native Low-Bit LLM Inference
AI 导读
StrataFlux 框架通过选择性精度流恢复低比特量化丢失的精度，Llama-3.1-8B-Instruct 2-bit 权重下 WikiText-2 困惑度从 9.46 降至 8.40。
来源：arXiv · ML · arxiv.org