LLM低质数据预训练致认知退化研究获批2026会议
先了解这件事
一项研究发现，持续在Twitter低质数据上预训练会导致大语言模型在推理、长上下文及安全性方面显著退化。在ARC-Challenge CoT等指标上，模型性能随低质数据比例增加而明显下降，证实了数据对能力衰减的因果性影响。 2026年10月，该研究被2026语言建模会议（COLM 2026）正式接收。研究团队明确界定了低质数据样本标准：包括超过500次互动且少于30个词的推文。对照组则使用少于500次互动且长度超过100词的推文，并在Llama3 8B及Qwen系列模型上完成验证。 后续报道指出，德州农工大学的研究证实，这种“脑腐”现象表现为跳过推理步骤及伦理判断下降，且模型性能难以恢复。研究人员建议对部署中的LLM进行常规认知健康检查，以监测并防范因数据质量导致的性能退化。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
- Hacker News AI研究：低质数据训练致大语言模型“脑腐”，推理与记忆受损
德州农工大学研究证实，LLM 在低质社交媒体数据上训练会出现“脑腐”，主要表现为跳过推理步骤及伦理判断下降，且性能难以恢复。 该研究使用 100 万条 2010 年 Twitter 数据定义低质样本，在 Llama3 8B 和 Qwen 系列模型上验证，发现高参与度低质量内容显著削弱推理、记忆及伦理基准表现。
- arXiv · NLPLLM 脑腐：Twitter/X 数据持续预训练对大语言模型认知的退化影响
持续在 Twitter/X 低质数据上预训练会导致 4 个 LLM 在推理、长上下文理解及安全性上显著退化，Hedges' g>0.3。 在 M1 指标下，随低质数据比例升至 100%，ARC-Challenge CoT 分数从 72.1 降至 57.2，RULER-CWE 从 83.7 降至 52.3。 结果表明数据具有因果性影响能力衰减，建议对部署中的 LLM 进行常规认知健康检查。
本事件热度走势
- 可比范围当前
- 9
- 可比范围峰值
- 910月15日 14:00
- 近 24 小时变化
- –
趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。