跳到正文
arXiv · ML· Johannes Hog, Neeratyoy Mallik, Steven Adriaensen, Jan Hendrik Metzen, Tom Viering, Danny Stoll, Frank Hutter·· 13 小时前AI 评分20

TabPFNv2 式表格基础模型:可靠扩展定律与 nanoTabPFN 开源训练管线

Towards Reliable Scaling Laws for Tabular Foundation Models

AI 导读

研究表明 TabPFNv2 类模型的扩展定律在合成分数与真实数据集间存在差异,依赖少量数据集选参会导致性能高估。 需同步扩大合成预训练数据集规模以优化计算分配,增加预训练时采样的最大行数与特征数可改善性能并产生更可预测的扩展趋势。 这些洞察通过 nanoTabPFN 开源训练管线指导更高效模型的开发。

来源:arXiv · ML · arxiv.org