跳到正文
arXiv · NLP· Cen-Jhih Li, Siddhant Chaudhary, Aditya Bhaskara·· 3 天前AI 评分35

稀疏潜基视角重访优质上下文子集选择:RES算法在LLM推理中的应用研究

Revisiting What Makes a Good Context Subset: A Sparse Latent Basis Perspective

AI 导读

研究提出残差解释搜索(RES)作为稀疏重构诊断程序,用于选择少样本演示子集。RES在56个模型-数据集组合中的34个上优于MMR,情感任务优势最明显,但相关性检索在模板推理基准上表现更佳。 目标模型中间层表示更利于相似度检索,最后层则更适合残差和多样性选择。研究支持依据表示条件判断上下文子集质量的观点,而非追求普适最优选择器。

来源:arXiv · NLP · arxiv.org