arXiv · AI· Mohammed Nayeem Khan, Vrishank Tiwari·· 16 小时前AI 评分33
Sirius-Tiamat:单遍决策编码器压缩多少才不改变决策?
Sirius-Tiamat: How Small Can a One-Pass Decision Encoder Get Before Its Decisions Change?
AI 导读
4.21亿参数编码器 Laya 在压缩测试中,bf16 量化仅改变 0.2% 的决策,而删除 6 层导致 9.1% 决策翻转且 ECE 从 5.9% 升至 39.2%。 通过拟合温度将 ECE 恢复至 3.6%,且同等存储大小下量化比层删除引发的决策翻转更少。
来源:arXiv · AI · arxiv.org