arXiv · NLP· Fernando Cardenas Piepereit·· 10 天前AI 评分20
大型语言模型激活状态因果转移的架构依赖性研究
Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
AI 导读
研究验证大型语言模型间内部激活状态因果转移并非普遍存在,而是具有架构依赖性。 使用 Qwen2-0.5B、Phi-3-mini、Mistral-7B 和 FLAN-T5-base 测试,仅在 Qwen2 到 Phi-3 路径中观察到统计显著的因果效应。 结果揭示当前端到端激活状态转移主要传递表征载体而非语义意义,为跨模型通信机制划定技术边界。
来源:arXiv · NLP · arxiv.org