跳到正文
热点事件持续更新

arXiv发布ThinkBit两比特量化框架论文

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

arXiv新近发布ThinkBit量化框架论文。该框架专为保留推理能力设计,采用严格标量两比特量化,每个权重为整数码字与bfloat16共享标度的乘积。 在Qwen3-1.7B模型上,该框架重新校准检查点在MATH-500得分46.7,显著高于同等数据训练的EfficientQAT的30.0分;经推理轨迹QAT训练后,得分可提升至73.0。 论文进一步验证了框架的扩展能力:在14B规模下,3.74 GB模型在MATH-500得分94.8,接近29.5 GB bfloat16模型的97.5分。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · NLP
    ThinkBit: 面向推理保持的严格标量 2-bit 量化框架

    ThinkBit 是一种专为保留推理能力设计的 2-bit 量化框架,在 Qwen3-1.7B 模型上 MATH-500 得分 46.7,显著高于 EfficientQAT 的 30.0。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。