arXiv · AI· Vimal William, Yuanzhe Li, Danella Zhao, Huanrui Yang·· 13 小时前AI 评分23
Anchor:用于测试时训练长上下文检索的增强跨层循环状态
Anchor: Augmented Cross-Layer Recurrent State for Long-Context Retrieval in Test-Time Training
AI 导读
Anchor 模型在 Llama-3.1-8B 和 Mistral-7B 上实现了比 LoLCATs 高 2.3-3.1 倍的召回率和 6.7-8.9 点的 MMLU 准确率提升。
来源:arXiv · AI · arxiv.org