arXiv · NLP· Shuo Xing, Junyuan Hong, Yifan Wang, Runjin Chen, Zhenyu Zhang, Ananth Grama, Zhengzhong Tu, Zhangyang Wang·· 5 天前AI 评分45
LLM 脑腐：Twitter/X 数据持续预训练对大语言模型认知的退化影响
LLMs Can Get "Brain Rot": A Pilot Study on Twitter/X
AI 导读
持续在 Twitter/X 低质数据上预训练会导致 4 个 LLM 在推理、长上下文理解及安全性上显著退化，Hedges' g>0.3。 在 M1 指标下，随低质数据比例升至 100%，ARC-Challenge CoT 分数从 72.1 降至 57.2，RULER-CWE 从 83.7 降至 52.3。 结果表明数据具有因果性影响能力衰减，建议对部署中的 LLM 进行常规认知健康检查。
来源：arXiv · NLP · arxiv.org