跳到正文
arXiv · AI· Marcus Armstrong, Navid Ayoobi, Arjun Mukherjee·· 17 天前AI 评分33

领域特异性潜在几何在跨架构翻译中存续:语言模型隐空间对齐研究

Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation

AI 导读

研究通过线性投影实现20组异构语言模型间的隐空间对齐,在TruthfulQA上行为修正率达25.2%,R²=0.50。 发现几何对齐质量与行为修正率近乎零相关(r=-0.07),且投影矩阵跨推理域传输时R²降至-3.83,证实领域特异性子空间几何是语言模型普遍属性。

来源:arXiv · AI · arxiv.org