arXiv · NLP· Cen-Jhih Li, Siddhant Chaudhary, Aditya Bhaskara·· 3 天前AI 评分35
稀疏潜基视角重访优质上下文子集选择:RES算法在LLM推理中的应用研究
Revisiting What Makes a Good Context Subset: A Sparse Latent Basis Perspective
AI 导读
研究提出残差解释搜索(RES)作为稀疏重构诊断程序,用于选择少样本演示子集。RES在56个模型-数据集组合中的34个上优于MMR,情感任务优势最明显,但相关性检索在模板推理基准上表现更佳。 目标模型中间层表示更利于相似度检索,最后层则更适合残差和多样性选择。研究支持依据表示条件判断上下文子集质量的观点,而非追求普适最优选择器。
来源:arXiv · NLP · arxiv.org