WAQS框架发布

WAQS框架正式发布，由Ding Zhu和Mohammad Mahdi Khalili提出。该框架通过权重吸收技术，利用二次探测生成仿射转向方向，并将其精确吸收进相邻线性层，实现状态依赖的激活控制，且不增加额外推理开销。 在真实性、拒绝和谄媚转向等任务中，WAQS的二次转向效果匹配或优于传统的常数线性转向，同时保持模型效用。该方法还引入了低秩参数化，以扩展至大规模场景，证明了二次函数作为最大平滑概念评分类的有效性。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。