跳到正文
arXiv · ML· Sangyoon Bae, Sk Miraj Ahmed, Shinjae Yoo, Jiook Cha·· 2026-10-08AI 评分23

预训练塑造谱结构:基础模型分布外鲁棒性的架构与策略条件化预测

Pretraining Shapes Spectral Structure: Architecture- and Strategy-Conditional Prediction of OOD Robustness in Foundation Models

AI 导读

预训练权重的谱结构决定了基础模型在目标域出现前的分布外(OOD)鲁棒性。 架构与预训练策略共同塑造谱几何,单一统计量在“架构 x 策略”组合(cell)内可正确排序 92% 模型对的 OOD 鲁棒性。 该诊断仅需使用已发布权重即可在模型选择阶段检查 OOD 鲁棒性,避免在特定领域投入数据或计算资源。

来源:arXiv · ML · arxiv.org