跳到正文
arXiv · ML· Purva Pruthi, Andrew Yuan, Alexander D'Amour, David Jensen·· 9 天前AI 评分31

Transformer 组合泛化评估:组合等价与模块覆盖率的作用

Evaluating Compositional Generalization in Transformers: The Role of Composition Equivalence and Module Coverage

AI 导读

系统评估表明,Transformer 组合泛化性能受组合等价和模块覆盖率强烈影响。直接模型主要利用组合等价获得高分,消除等价后性能显著下降。 模块覆盖率偏移会导致直接模型和分步模型性能单调下降。基准中存在的组合等价可能导致对直接模型泛化能力的显著高估。 以 LiveCodeBench 为例,展示了组合等价对预训练模型 Llama3-8B 在代码输出预测任务中泛化表现的影响。

来源:arXiv · ML · arxiv.org