arXiv · ML· Jens P\"uttschneider, Simon Heilig, Asja Fischer, Timm Faulwasser·· 3 小时前AI 评分21
早期退出与 ResNets 的最优控制基础:转向现象
Towards an Optimal Control Foundation of Early Exits - Turnpikes and ResNets
AI 导读
研究将最优控制理论应用于 ResNets 早期退出,证明联合优化下存在转向现象(Turnpike Phenomenon)。 转向现象意味着达到特定损失水平所需的层数上限与网络总深度无关,内部表征呈现跨深度相似性。 该理论解释了过度思考(Overthinking)现象,并为基于 softmax 概率的早期退出准则提供了见解。
来源:arXiv · ML · arxiv.org