arXiv · ML· Angus Hoy, Austin Lutterbach, Jasper Chong, Aman Kumar, Michael J. Smith·· 16 小时前AI 评分31
模型对齐改变柏拉图标度：原生几何与线性可恢复性对比
Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
AI 导读
研究发现，使用Ridge对齐可增强模型规模与跨数据集邻域对应关系的联系，且该效应在所有五个模型家族中均存在。 该效应并非源于更宽的嵌入提供了更多维度，因为当表示被降至较低维度时它依然存在。学习到的映射远非旋转或均匀缩放，且SAE和BSF特征没有比应用于密集嵌入的相同对齐带来优势。 模型规模提高线性可恢复性的清晰度高于原生余弦邻域对应，但并未确立向共享原生度量几何的收敛。
来源：arXiv · ML · arxiv.org