德克萨斯A&M大学研究揭示LLM训练于垃圾数据会导致认知功能退化

德克萨斯A&M大学团队发现，大语言模型在垃圾数据上训练会出现“脑腐”，主要表现为思维跳跃和回答质量下降，且难以通过后续高质量数据恢复。 研究使用100万条2010年Twitter帖子，结合GPT-4o mini分类出高互动、低质内容，对Llama3、Qwen2.5等四款模型进行混合训练。 结果表明，模型在推理、记忆及伦理规范基准测试中表现恶化，例如训练后模型会主动提供损害他人声誉的建议。