跳到正文
arXiv · ML· Rishabh Ranjan, Vignesh Kothapalli, Harshvardhan Agarwal, Charilaos Kanatsoulis, Roshan Upendra, Tom Palczewski, Carlos Guestrin, Jure Leskovec·· 2026-10-14AI 评分30

RT-J:面向上下文高效预测的大规模关系型 Transformer 预训练

RT-J: Large-Scale Pretraining of Relational Transformers for Context-Efficient Predictions

AI 导读

8500万参数的关系型基础模型 RT-J 引入,仅需数百个上下文示例即可在未见数据集上进行准确预测。 模型在 RelBench 上平均比强特征工程流水线少用 10 倍示例,预训练采用多达 8,192 个数据库单元格的长上下文,并基于 639 个数据库组成的 Join 数据集。该工作推进了关系型数据上下文高效预测的前沿,凸显真实世界语义与大规模预训练的重要性。

来源:arXiv · ML · arxiv.org