量化下聚类最优传输激活转向研究

该研究发现，基于个体 token 路由的聚类最优传输变体在 Gemma 和 Granite 模型上将毒性减少 37-61%，优于均值差（DiM）方法。 该变体在 INT8 和 NF4 量化下依然有效，且与均值差方法相比，在相同毒性水平下流畅度略高，但在相同转向强度下困惑度稍高。 该研究证明了该变体在量化模型中的鲁棒性，为实际部署中降低模型毒性提供了有效方案。