ΣΔ-Sampler 优化器用于二值/三值模型端侧训练
热点事件持续更新
ΣΔ-Sampler 优化器用于二值/三值模型端侧训练
1 篇报道1 个报道来源7 小时前更新
先了解这件事
AI 综述
2026年10月15日,Zihao Chen 等人在 arXiv 发布论文《ΣΔ-Sampler》,提出针对二值与三值 AI 模型边缘端训练的噪声整形采样与退火优化器。该优化器旨在解决端侧大模型微调中的内存与速度瓶颈问题。实验数据显示,在 CIFAR-10 上,13M 参数模型精度与全精度模型差距在 1% 以内。MatMul-free 语言模型最高支持 2.7B 参数,性能优于直通估计器基线。相比标准量化感知训练,该方法将训练内存减少 50% 以上,速度提升一个数量级,适用于资源受限的端侧环境。
AI 根据报道生成 · 7 小时前更新
最新进展10月19日 12:00
$\Sigma\Delta$-Sampler:二值与三值AI模型边缘端可扩展训练的噪声整形采样与退火报道时间线
沿着报道,了解事件的不同侧面。
10月19日
- arXiv · ML$\Sigma\Delta$-Sampler:二值与三值AI模型边缘端可扩展训练的噪声整形采样与退火
提出 $\Sigma\Delta$-Sampler 优化器,通过噪声整形与退火提升二值和三值模型边缘端训练效率。 在 CIFAR-10 上 13M 参数模型精度接近全精度 1% 以内;MatMul-free 语言模型最高 2.7B 参数优于直通估计器基线。 较标准量化感知训练,训练内存减少 50% 以上,速度提升一个数量级,适用于端侧大模型微调。
本事件热度走势
- 可比范围当前
- 8
- 可比范围峰值
- 1010月19日 13:00
- 近 24 小时变化
- –
02.557.510
13:0014:0015:0016:0017:0018:0019:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。