跳到正文
热点事件持续更新

Anchor方法论文:长上下文检索测试时训练新架构

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

2026年11月4日,Vimal William等人在arXiv发表题为《Anchor:用于测试时训练长上下文检索的增强跨层循环状态》的论文。该研究指出,长上下文检索在深度上呈稀疏分布,且集中在少数“锚点层”,其余层的状态信息相似但通过层特异性变换表达。 基于此,作者提出Anchor方法,仅在锚点层放置测试时训练(TTT)记忆,并采用跨层循环状态,该状态由单一层写入、多层读取,使循环状态规模缩小10倍。 在Llama-3.1-8B和Mistral-7B上,Anchor较LoLCATs召回率高2.3–3.1倍,MMLU准确率高6.7–8.9点,保留91%–95%教师模型MMLU准确率,端到端延迟较softmax注意力最多降低4.3倍。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月4日
  1. arXiv · AI
    Anchor:用于测试时训练长上下文检索的增强跨层循环状态

    Anchor 模型在 Llama-3.1-8B 和 Mistral-7B 上实现了比 LoLCATs 高 2.3-3.1 倍的召回率和 6.7-8.9 点的 MMLU 准确率提升。

本事件热度走势

可比范围当前
7
可比范围峰值
811月4日 23:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。