早期指令微调中“高质量”数据：数据质量指标的实证研究

研究指出，在固定微调预算下，响应比率（response ratio）是预测指令微调效用的更强且更可移植的指标，优于常用替代代理。 实验通过将指令-响应样本按分数排序并分桶微调，对比了验证困惑度与 LLM 评分，证实答案密集的监督信号具有更高预测力。 该发现澄清了“数据质量”的操作定义，为高效数据选择提供了实证依据。