跳到正文
热点事件持续更新

ΣΔ-Sampler 优化器用于二值/三值模型端侧训练

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月15日,Zihao Chen 等人在 arXiv 发布论文《ΣΔ-Sampler》,提出针对二值与三值 AI 模型边缘端训练的噪声整形采样与退火优化器。该优化器旨在解决端侧大模型微调中的内存与速度瓶颈问题。实验数据显示,在 CIFAR-10 上,13M 参数模型精度与全精度模型差距在 1% 以内。MatMul-free 语言模型最高支持 2.7B 参数,性能优于直通估计器基线。相比标准量化感知训练,该方法将训练内存减少 50% 以上,速度提升一个数量级,适用于资源受限的端侧环境。

AI 根据报道生成 · 7 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月19日
  1. arXiv · ML
    $\Sigma\Delta$-Sampler:二值与三值AI模型边缘端可扩展训练的噪声整形采样与退火

    提出 $\Sigma\Delta$-Sampler 优化器,通过噪声整形与退火提升二值和三值模型边缘端训练效率。 在 CIFAR-10 上 13M 参数模型精度接近全精度 1% 以内;MatMul-free 语言模型最高 2.7B 参数优于直通估计器基线。 较标准量化感知训练,训练内存减少 50% 以上,速度提升一个数量级,适用于端侧大模型微调。

本事件热度走势

可比范围当前
8
可比范围峰值
1010月19日 13:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。