跳到正文
arXiv · NLP· Xinhe Zhang, Arnau Marin-Llobet·· 6 小时前AI 评分28

预训练语言模型中并发时间变量的分解表示

Factorized Representations of Concurrent Temporal Variables in Pretrained Language Models

AI 导读

研究发现,在 Qwen3 系列模型中,语言切换与主题变更两个并发时间计时器均可从相同隐藏状态线性解码。实验涵盖 0.6B 至 14B 参数规模及 3 至 51 个计时器数值。结果显示,移除特定计时器质心平面会显著降低其变量可访问性,但对并发计时器影响较小,支持基于选择性可访问性的近似分解假设。

来源:arXiv · NLP · arxiv.org