跳到正文
arXiv · AI· Yaxin Luo, Jiacheng Cui, Xiaohan Zhao, Xinyi Shang, Jiacheng Liu, Xinyue Bi, Zhaoyi Li, Zhiqiang Shen·· 2026-10-16AI 评分40

LLMSurgeon:诊断大语言模型的数据混合比例

LLMSurgeon: Diagnosing Data Mixture of Large Language Models

AI 导读

论文提出 LLMSurgeon 框架,将大语言模型预训练数据混合估计形式化为逆问题,旨在事后审计模型的数据溯源。该方法通过校准软混淆矩阵并求解约束逆问题,修正系统性领域混淆,恢复潜在混合先验。研究引入 LLMScan 评测套件,利用开源模型的高保真结果验证了 LLMSurgeon 在审计基础模型“数字 DNA”上的实用性。

来源:arXiv · AI · arxiv.org