TWIG：神经网络权重的树状共享离散决策表示

TWIG将神经网络权重表示为共享离散决策路径的终点，实现剪枝、量化及低秩分解等压缩操作在统一对象上的编辑，支持单一优化器全局选择。 在大型语言模型权重矩阵中，TWIG 在 3-4 bit 精度下比 GPTQ 减少 9-15% 加法，面对强离群值矩阵时减少 20-55% 加法，且常见权重格式可视为无额外成本的浅层 TWIG。 该表示使权重层几乎全由导线和加法器组成，适合权重固定于制造过程的芯片。