DualSFT统一LLM微调参数与数据选择
热点事件持续更新
DualSFT统一LLM微调参数与数据选择
1 篇报道1 个报道来源6 小时前更新
先了解这件事
AI 综述
2026年10月23日,研究者Xinrui Chen等发布DualSFT,提出一种用于LLM微调的共享评分算法。该算法通过统一梯度交互矩阵,将参数重要性(列聚合)与数据效用(行聚合)结合为单一闭式行对应关系,实现一次性双评分。 该方法是联合选择而非顺序处理,从共享梯度统计中同时生成参数掩码和数据子集。在3B-9B规模LLM测试中,匹配预算下DualSFT相比顺序混合基线,在联合约束权衡方面表现更优。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
DualSFT:一种用于 LLM 微调中参数与数据联合选择的共享评分算法报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv · MLDualSFT:一种用于 LLM 微调中参数与数据联合选择的共享评分算法
DualSFT 提出共享局部响应替代评分规则,将 LLM 微调中的参数重要性(列聚合)与数据效用(行聚合)统一为单一梯度交互矩阵的闭式行对应关系。该一次性双评分算法从共享梯度统计中同时生成参数掩码和数据子集。在 3B-9B LLM 上,完整 DualSFT 在匹配预算下比顺序混合基线实现更优的联合约束权衡。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。