跳到正文
arXiv · ML· Xingyu Zhao, Darsh Sharma, Rheeya Uppaal, Yiqiao Zhong·· 7 天前AI 评分35

Transformer 算术任务中的“破碎组合性”:反直觉的学习动态

Shattered Compositionality: Counterintuitive Learning Dynamics of Transformers for Arithmetic

AI 导读

summary_zh: 研究发现 Transformer 在算术任务中常以逆向或并行而非人类顺序获取技能,称为“破碎组合性”。这种由训练数据相关性匹配驱动的非人类获取方式导致技能竞争和混合错误。

来源:arXiv · ML · arxiv.org