跳到正文
arXiv · ML· Leonel Aguilar, Jan Nagler, Christoph Hoelscher, Nino Antulov-Fantulin·· 10 天前AI 评分21

神经网络能外推吗?特征工程作为OOD泛化的可辨识性偏差

Does Your Neural Network Extrapolate? Feature Engineering as Identifiability Bias for OOD Generalization

AI 导读

深度神经网络在分布内训练窗口学习显著特征时,若无法识别数据生成过程(DGP)结构,则无法实现分布外(OOD)泛化。 单一训练窗口内无穷多DGP观测等价但边界外任意发散,结构性承诺(特征映射、标签映射、模型类)决定OOD泛化且基本不影响分布内性能。 研究在化学、物理、生物及组织病理学等场景及Transformer、Mamba、S4D架构中验证了该机制。

来源:arXiv · ML · arxiv.org