arXiv 论文诊断 LLM 故事的低多样性问题

arXiv 论文指出当前四个大语言模型生成的故事可变性极低，20,000 个样本中 11 个词（如 Elias、Mara、灯塔等）出现在 88.3% 的故事中。这些词在公开文献和预训练数据中罕见，但存在于所有模型可能使用的偏好数据中。研究显示，小众数据集结合强大的对齐算法会对生成结果产生不成比例的影响，导致大量出现参考受版权保护角色或成人内容的故事。