跳到正文
arXiv · ML· Doyeob Kim·· 16 小时前AI 评分40

NariQ:面向长程智能体任务的亚 3-bit 量化方法

NariQ: Sub-3-Bit Quantization for Long-Horizon Agentic Tasks

AI 导读

NariQ 通过轨迹编码实现 Qwen3.8-27B 亚 3-bit 量化,在 DeepSWE 等长程智能体基准上性能对齐 BF16。 该方法利用智能体会话生成 Token 进行校准,解决了短文本量化在 100K 上下文场景下的性能损失。 作者开源了 Qwen3.8-27B-NariQ-GGUF 文件,并通过特定分支提供推理支持。

来源:arXiv · ML · arxiv.org