arXiv论文揭示提示词扰动降低LLM事实可靠性

2026年10月27日，Soorya Ram Shimgekar等人在arXiv NLP分类（cs.CL）发布预印本论文《Prompt PerturbAItions: Mechanisms of LLM Response Inconsistencies》。该研究通过控制实验，系统评估词汇和语气类提示词扰动对大语言模型事实可靠性的影响。 研究采用涵盖礼貌、随机及逐步毒性增强的受控提示变体，在ARC-Easy、GSM8K和MMLU三个基准上测试了7个LLM的性能。结果表明，词汇扰动会增加模型预测的不确定性，且毒性强度与准确率呈负相关，即提示词毒性越强，模型事实准确性越低。 归因图谱分析进一步揭示了扰动导致回答不一致的机制，发现提示词扰动放大了模型中对扰动敏感的变体节点效应。该研究为理解LLM在对抗性或不规范提示下的脆弱性提供了实证依据。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。