arXiv · NLP· Wanyang Hong, Zhaoning Zhang, Yi Chen, Libo Zhang, Baihui Liu, Linbo Qiao, Zhiliang Tian, Dongsheng Li·· 3 小时前AI 评分35
REA：面向对话 LLM 的角色感知启发式情景注意力框架
Role-aware Heuristic Episodic Attention for Conversational LLMs
AI 导读
REA 框架通过角色感知管理对话上下文，在 Long-MT-Bench+ 上将裁判分数从 6.32 提升至 7.36。 该框架将指令记忆与情景记忆分离，并采用启发式检索策略，使平均推理延迟降低 2.91 倍。 评估显示，该方案在 1.7B-7B 参数规模的三个基础模型上均带来性能提升。
来源：arXiv · NLP · arxiv.org