arXiv · NLP· Qingjie Zhang, Di Wang, Haoting Qian, Liu Yan, Tianwei Zhang, Ke Xu, Qi Li, Minlie Huang, Hewu Li, Han Qiu·· 8 小时前AI 评分33
GPT 等 24 款 LLM 的中文训练数据污染推测研究
Speculating LLMs' Chinese Training Data Pollution from Their Tokens
AI 导读
研究通过微调 LLM 构建检测器，推测 GPT 及另外 23 款 LLM 的中文训练数据污染情况。实验显示 GPT 词表中超 40% 长中文 Token 涉及色情或赌博内容，并推测 GPT-4o 训练数据中特定网页占比约 0.5%。
来源：arXiv · NLP · arxiv.org