arXiv · ML· Xinrui Chen, Liu Yang, Ou Wu·· 7 小时前AI 评分21
DualSFT：一种用于 LLM 微调中参数与数据联合选择的共享评分算法
One Algorithm, Two Goals: Dual Scoring for Parameter and Data Selection in LLM Fine-Tuning
AI 导读
DualSFT 提出共享局部响应替代评分规则，将 LLM 微调中的参数重要性（列聚合）与数据效用（行聚合）统一为单一梯度交互矩阵的闭式行对应关系。该一次性双评分算法从共享梯度统计中同时生成参数掩码和数据子集。在 3B-9B LLM 上，完整 DualSFT 在匹配预算下比顺序混合基线实现更优的联合约束权衡。
来源：arXiv · ML · arxiv.org