arXiv · NLP· Peng Sun, Yi Yang, Mingshuo Chen, Chunxiao Li, Yao Zhu, Huawen Shen, Tianfan Fu·· 11 天前AI 评分20
QMAC 提出将数据选择重构为语义流形上的分布匹配与质量过滤联合优化问题,通过多频带特征函数匹配捕捉全局语义覆盖与局部扰动,并在 4 种数据类型、8 个目标模型及 44 项基准测试中全面优于现有基线。
Rethinking Data Selection as Distribution Matching on Semantic Manifolds
AI 导读
该方法在图文指令、文本推理等任务上显著超越随机选择与全量数据训练,有效降低大语言模型及多模态大模型微调中的算力与存储成本。 论文已发布,代码将在论文被接收后公开。
来源:arXiv · NLP · arxiv.org