arXiv · NLP· Mark Oskin·· 10 天前AI 评分42
Mistral-7B 与 Llama-3.1-8B 如何实现无界上下文改造
Retrofitting Unbounded Context onto Stock Language Models
AI 导读
研究通过在 Mistral-7B 和 Llama-3.1-8B 中实施预置关键值与稀有词重编码策略,实现无权重修改的无界上下文读取。在 32K 至 1M token 范围内,单针读取准确率达 99-100%,128K 预填充速度为原生模型的 1.85 倍。该方法让模型突破训练长度限制,无需重新训练即可调用长期记忆。
来源:arXiv · NLP · arxiv.org