Qwen3模型并发时序变量线性可解码性研究

Xinhe Zhang等人发布新研究，探索预训练语言模型中并发时间变量的因子化表示机制。 实验基于Qwen3系列模型（0.6B至14B），利用独立相位的受控文档，验证了语言切换与主题变更两个计时器均可从相同隐藏状态进行线性解码，且覆盖3至51个计时器数值。 研究进一步发现，移除特定计时器的质心平面会显著降低其变量的可访问性，但对并发计时器的影响较小。该结果支持了基于选择性可访问性的近似分解假设。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。