arXiv · NLP· Xueping Gao·· 10 天前AI 评分27
对比差异 CKA 揭示语言模型架构间概念特定的结构对齐
Contrastive-Difference CKA Reveals Concept-Specific Structural Alignment Across Language Model Architectures
AI 导读
研究者利用对比差异居中核对齐 CKAΔ 分析语言模型概念编码。在四个检查点和八个人格特质上,固定最终层分析显示同特质 CKAΔ 均值为 0.7259,跨特质为 0.6828。 标签随机化检验显示 p 值为 1/10001,但加权 95% 区间 [-0.0330, 0.1017] 限制了广义结论。 结果支持概念特定结构和留一线性可恢复性的范围诊断,未确立通用不变性。
来源:arXiv · NLP · arxiv.org