arXiv · NLP· Changho Lee, Janghoon Han, Rajdeep Mukherjee, Yeda Song, Lening Nick Cui, Xinya Du, Honglak Lee·· 4 小时前AI 评分24
DeGMatch:基于去混杂梯度匹配的目标感知推理数据选择方法
DeGMatch: Target-Aware Reasoning Data Selection via Deconfounded Gradient Matching
AI 导读
DeGMatch通过构建目标相关性门控并在目标匹配前移除主导主成分,解决了长推理轨迹中目标区分度有限的问题。 该算法在数学、科学和代码领域的多个基准测试中,表现优于启发式、目标感知及推理专用数据选择基线。 代码已开源,方法在不同选择预算、模型家族和规模下均保持有效。
来源:arXiv · NLP · arxiv.org