Anchor方法论文:长上下文检索测试时训练新架构
热点事件持续更新
Anchor方法论文:长上下文检索测试时训练新架构
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
2026年11月4日,Vimal William等人在arXiv发表题为《Anchor:用于测试时训练长上下文检索的增强跨层循环状态》的论文。该研究指出,长上下文检索在深度上呈稀疏分布,且集中在少数“锚点层”,其余层的状态信息相似但通过层特异性变换表达。 基于此,作者提出Anchor方法,仅在锚点层放置测试时训练(TTT)记忆,并采用跨层循环状态,该状态由单一层写入、多层读取,使循环状态规模缩小10倍。 在Llama-3.1-8B和Mistral-7B上,Anchor较LoLCATs召回率高2.3–3.1倍,MMLU准确率高6.7–8.9点,保留91%–95%教师模型MMLU准确率,端到端延迟较softmax注意力最多降低4.3倍。
AI 根据报道生成 · 3 小时前更新
最新进展11月4日 13:00
Anchor:用于测试时训练长上下文检索的增强跨层循环状态报道时间线
沿着报道,了解事件的不同侧面。
11月4日
- arXiv · AIAnchor:用于测试时训练长上下文检索的增强跨层循环状态
Anchor 模型在 Llama-3.1-8B 和 Mistral-7B 上实现了比 LoLCATs 高 2.3-3.1 倍的召回率和 6.7-8.9 点的 MMLU 准确率提升。
本事件热度走势
- 可比范围当前
- 7
- 可比范围峰值
- 811月4日 23:00
- 近 24 小时变化
- –
02468
23:0011月5日01:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。