arXiv · ML· Kaustubh Sharma, Srijan Tiwari, Ojasva Nema, Parikshit Pareek·· 2026-10-09AI 评分35
先验数据拟合网络中频谱结构的机械证据
Mechanistic Evidence for Spectral Structures in Prior-Data Fitted Networks
AI 导读
研究证实先验数据拟合网络内部存在可提取的频谱结构,线性探针在7个模型中以R²≥0.95恢复上下文频率。 TabPFN中192个方向里的64个无标签方向承载了85%-95%的因果效应,且Filter Bank Decoder能以约200倍更低成本生成竞争性高斯过程回归核。 该发现证明网络潜空间蕴含可移植的频谱先验,无需测试时优化即可解码为显式核函数。
来源:arXiv · ML · arxiv.org