跳到正文
热点事件持续更新

arXiv论文：历史源密钥是归纳电路因果接口

1 篇报道1 个报道来源23 小时前更新

先了解这件事

AI 综述

2026年11月6日，Ke Cheng等发布并更新了arXiv论文《The Token Before the Value Is the Key》。该研究利用混合语言模型作为可操作测试平台，分析了归纳电路中通过匹配查询到该值前token携带信息以检索值值的机制。 研究团队通过探针与恢复干预，确认“历史源密钥”是连接局部准备与全局检索的通用因果接口。该接口在控制模型、预训练递归及滑动窗口混合模型以及已发布的语言模型间均得到验证。 论文分析围绕地址上下文半径与顺序检索深度展开，揭示了电路形成、上下文消歧及顺序使用如何通过共享检索接口连接。相关代码已开放获取，为理解混合语言模型中的归纳机制提供了实证基础。

AI 根据报道生成 · 20 小时前更新

最新进展11月6日 13:00
The Token Before the Value Is the Key：利用混合语言模型揭示 Induction 电路中的历史源密钥机制

报道时间线

沿着报道，了解事件的不同侧面。

11月6日
  1. arXiv · ML
    The Token Before the Value Is the Key：利用混合语言模型揭示 Induction 电路中的历史源密钥机制

    研究利用混合语言模型作为测试平台，识别出“历史源密钥”是连接局部准备与全局检索的通用因果接口。 探针与恢复干预在控制型模型及发布的语言模型间连接了该接口，分析围绕地址上下文半径与顺序检索深度展开。 结果揭示了电路形成、上下文消歧及顺序使用如何通过共享检索接口进行连接，相关代码已开放获取。

本事件热度走势

可比范围当前
5
可比范围峰值
911月6日 16:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。