arXiv · ML· Yoshiyuki Ootani·· 4 天前AI 评分23
输入路径塑造 Tiny Transformers 少样本而非零样本绑定:一项全枚举研究
Input Pathways Shape Few-Shot, Not Zero-Shot, Binding in Tiny Transformers: A Fully-Enumerable Study
AI 导读
研究在 ~6-10K 参数 Tiny Transformers 全枚举有限因式世界中,证明输入路径(符号 token、oracle 代码、纠缠感知向量)决定少样本组合绑定的样本效率,可读性是关键变量,最低可读纠缠代码表现最差(-0.147)。
来源:arXiv · ML · arxiv.org