跳到正文
arXiv · AI· Ananya Sutradhar, Fabien Roger·· 13 小时前AI 评分38

提示词条件化合成文档微调如何让 LLM 相信虚假事实

Can you make models believe false facts in the prompt?

AI 导读

提示词条件化 SDF 让 LLM 相信 prompt 中的虚假事实,其信念深度随训练事实数量呈对数线性增长。该方法成本较低,结合 RL 减少虚假事实口述率在部分评测中接近 SDF。 小模型在常规蜜罐系统提示中常已表现出对 prompt 事实的相信,导致对齐审计实验结果为负面。

来源:arXiv · AI · arxiv.org