arXiv · AI· Chenyu Hui·· 4 小时前AI 评分29
基于主动回顾学习提升大语言模型长上下文理解能力
Towards robust long-context understanding of large language model via active recap learning
AI 导读
研究提出主动回顾学习（ARL）框架，通过持续预训练中的序列构建和推理时的回顾总结，增强大语言模型的长上下文理解能力。 ARL利用长短期前向上下文的损失间隙识别关键token，并让模型在推理时自主生成跨段落的回顾总结以建立递归记忆机制。
来源：arXiv · AI · arxiv.org