跳到正文
arXiv · NLP· Davide Venuto, Leonardo Venuto·· 21 天前AI 评分28

GPT-2 类模型中 Transformer 的隐式推理:弥合组合泛化差距

Implicit Reasoning in Transformers: Bridging the Compositionality Gap in GPT-2-like Models

AI 导读

在 GPT-2 类 Transformer 模型中,组合泛化存在显著差距:模型在分布内(ID)能正确结合已知事实,但应用于分布外(OOD)知识时同一组合机制往往失效。

来源:arXiv · NLP · arxiv.org