arXiv · NLP· Xingjian Zhang·· 10 天前AI 评分41
ASCENT 提出规模互补外部状态框架以提升冻结长上下文大语言模型性能
ASCENT: Scale-Complementary External State for Frozen Long-Context Language Models
AI 导读
ASCENT 框架通过规模互补外部状态提升冻结长上下文 LLM 表现,16K BABILong 实验中 Qwen2.5 准确率增益显著。 在 0.5B、1.5B 和 3B 参数规模下准确率分别提升 10.50、78.88 和 82.63 个百分点。 结果显示外部状态价值随读者容量与状态预算联合扩大而增加,基准测试确认其有效性。
来源:arXiv · NLP · arxiv.org