arXiv · NLP· Soorya Ram Shimgekar, Agam Goyal, Amruta Parulekar, Joshua Chen, Yian Wang, Navin Kumar, Hari Sundaram, Eshwar Chandrasekharan, Koustuv Saha·· 4 小时前AI 评分33
Prompt PerturbAItions: 大语言模型回答不一致性的机制
Prompt PerturbAItions: Mechanisms of LLM Response Inconsistencies
AI 导读
研究发现，基于词汇和语气的提示词扰动会降低大语言模型（LLM）的事实可靠性，且毒性越强准确率越低。 研究评估了7个LLM在ARC-Easy、GSM8K和MMLU上的表现，发现词汇扰动增加了预测不确定性，归因图谱分析显示扰动放大了对扰动敏感的变体节点。
来源：arXiv · NLP · arxiv.org