arXiv · ML· Inbasekaran S·· 2026-10-08AI 评分28
EntroPrefill: Rényi 指导的检索增强生成上下文剪枝及其条件稳定性保证
EntroPrefill: Renyi-Guided Context Pruning with Conditional Stability Guarantees for Retrieval-Augmented Generation
AI 导读
EntroPrefill 提出一种 Rényi 引导的预填充剪枝机制,通过显式约束丢弃注意力质量保障上下文可替换性。 该机制包含混合到头部删除包络、可行令牌移除上界及有限样本观察者保证,并推导了条件 Transformer 扰动界限。 文章为纯理论框架,未包含实证加速、任务准确率保留或基准测试。
来源:arXiv · ML · arxiv.org