arXiv · NLP· Guangzeng Han, Xiaolei Huang·· 2026-10-16AI 评分22
指令微调数据的选择:基于加权上下文影响的 wICI 框架
What Makes Good Instruction-Tuning Data? An In-Context Learning Perspective
AI 导读
针对指令微调数据冗余与低质问题,研究提出基于加权上下文影响(wICI)的选择框架,旨在衡量候选样本对语义相关同伴降低指令遵循难度的贡献。 实验跨越多个模型与基准测试表明,在受限数据预算下该方法优于现有基线,且实证发现样本难度与上下文影响呈负相关。 该研究为从上下文学习视角构建高效指令微调数据集提供了系统性指导。
来源:arXiv · NLP · arxiv.org