跳到正文
arXiv · NLP· Fernando Cardenas Piepereit·· 10 天前AI 评分20

大型语言模型激活状态因果转移的架构依赖性研究

Architecture-Dependent Causal Transfer of Activation States Across Large Language Models

AI 导读

研究验证大型语言模型间内部激活状态因果转移并非普遍存在,而是具有架构依赖性。 使用 Qwen2-0.5B、Phi-3-mini、Mistral-7B 和 FLAN-T5-base 测试,仅在 Qwen2 到 Phi-3 路径中观察到统计显著的因果效应。 结果揭示当前端到端激活状态转移主要传递表征载体而非语义意义,为跨模型通信机制划定技术边界。

来源:arXiv · NLP · arxiv.org