跳到正文
arXiv · ML· Brandon Amos·· 4 天前AI 评分20

近等分布中散度计算的数值稳定性问题

On numerical issues of divergences between nearly equal distributions

AI 导读

研究表明,当分类分布几乎相等时,前向和反向 KL 散度、JSD 及蒙特卡洛估计等标准散度操作存在舍入和抵消导致的数值问题。这些问题会影响知识蒸馏、强化学习等优化目标的计算,作者提出了数值稳定的重构方案并提供了相应实现。该工作为依赖散度的机器学习算法提供了更鲁棒的计算方法。

来源:arXiv · ML · arxiv.org