TWIG 提出：树状共享离散决策表示实现 LLM 压缩优化

研究团队提出 TWIG（Tree-structured Weights with Inherited Gates）表示及优化方法。该框架将神经网络权重表示为共享离散决策路径的终点，支持对剪枝、量化及低秩分解等压缩操作进行统一编辑，并允许单一优化器进行全局选择。 TWIG 在大型语言模型权重矩阵中表现显著。在 3-4 bit 精度下，相比 GPTQ 可减少 9-15% 的加法；面对强离群值矩阵时，加法减少幅度达 20-55%。此外，常见的权重格式可视为无额外成本的浅层 TWIG。 在硬件实现方面，TWIG 使权重层几乎全由导线和加法器组成。这种特性使其非常适合将权重固定于制造过程的芯片场景，为 AI 加速器设计提供了新思路。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。