跳到正文
arXiv · ML· Anshul Kumar, Neha Prasad, Manoj Kumar, Barnab\'as P\'oczos, Deeksha Varshney·· 9 天前AI 评分30

GPT-J 6B 与 Llama 3.1 8B 中线性探针的贝叶斯流形几何分析

Linear Probes to Bayesian Manifolds: Geometry of Arithmetic in Large Language Models

AI 导读

研究揭示线性探针准确率混淆了可解码性、形状、归属及因果使用四项独立主张。 针对 GPT-J 6B、Llama 3.1 8B 和 Pythia 6.9B 的两位加法乘法实验发现,81% 的形状为继承而非独有。 该结果建议将探针结果报告为对四项主张的独立判定,而非单一准确率。

来源:arXiv · ML · arxiv.org