arXiv · ML· Bum Jun Kim·· 17 天前AI 评分37
重参数化下的梯度可靠性:评估梯度基于的决策稳定性
Same Function, Different Gradients: Evaluating Gradient Reliability under Reparameterization
AI 导读
针对重参数化下梯度不可靠的问题,研究人员提出GRR测试框架,并发现梯度排序与剪枝决策会随参数坐标变化而改变。 在66项GLUE注意力审计中,原始头部梯度排序的前3名重叠中位数仅为1/3;在最大规模的14项全局剪枝审计中,受影响的ELECTRA模型验证精度分别达50.92%和94.84%。
来源:arXiv · ML · arxiv.org