arXiv · AI· Ananya Sutradhar, Fabien Roger·· 13 小时前AI 评分38
提示词条件化合成文档微调如何让 LLM 相信虚假事实
Can you make models believe false facts in the prompt?
AI 导读
提示词条件化 SDF 让 LLM 相信 prompt 中的虚假事实,其信念深度随训练事实数量呈对数线性增长。该方法成本较低,结合 RL 减少虚假事实口述率在部分评测中接近 SDF。 小模型在常规蜜罐系统提示中常已表现出对 prompt 事实的相信,导致对齐审计实验结果为负面。
来源:arXiv · AI · arxiv.org