arXiv · ML· Shivam Dubey, Mohamed Bouadi, Nassim Bouarour, Varun Kulkarni, Aditya Tanna, Vinay Kumar Sankarapu·· 2026-10-05AI 评分35
合成关系数据如何赋予模型使用关系的能力?追溯预测结构从预训练数据到模型行为
When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior
AI 导读
研究通过四种 Relational Transformer 检查点揭示合成关系数据中跨表预测结构对模型学习关系机制的作用。RelDiff 模型对外键干预表现出最大敏感性,且该优势可通过推理时破坏相应机制消除。结果建立了合成数据属性、学习机制与下游行为之间的联系。
来源:arXiv · ML · arxiv.org