arXiv · ML· Jonathan Lee, Narmeen Oozeer, Philip Quirke·· 8 小时前AI 评分24
学习到的 Transformer Programs 中准确率隐藏的问题
What Accuracy Hides In Learned Transformer Programs
AI 导读
研究通过检查 Transformer Programs 的可读 Python 代码，揭示了 token 准确率掩盖的完整答案错误。 在 9 个算法任务中，发现 token 准确无法反映序列完整正确率；某计数任务在抽样测试达 100% 准确率，但在全域穷举评估中因输出标签缺失而失败。 通过增加训练样本，重训模型在限定域内通过穷举评估，证明程序检查能指导数据改进以提升序列准确率。
来源：arXiv · ML · arxiv.org