arXiv · ML· Maxim Bolshim (ITMO University, Saint Petersburg, Russia), Alexander Kugaevskikh (ITMO University, Saint Petersburg, Russia)·· 8 小时前AI 评分21
基于 Profile 的诊断：被丢弃参数-Hessian 质量与 K-FAC 非 Fisher 信息的比较
Profile-aware diagnostics of discarded parameter-Hessian mass
AI 导读
研究表明被丢弃参数-Hessian 分数依赖对角 Profile 与参数分区，并非 K-FAC 丢弃的 Fisher 信息。 在 ResNet-18 中，从 stage 组变为 layers 使估算质量跨越 Profile 包络，近似联合条件蒙特卡罗筛选在 6/6 个种子/输入单元格中解决了此交叉。 这些有限损失对比依赖尺度，且未确立恢复益处。
来源：arXiv · ML · arxiv.org