arXiv · ML· Yang Ou·· 4 天前AI 评分52
推理模型会为注入的自我请求信念进行虚构辩护
Reasoning Models Confabulate to Defend Injected Beliefs About Their Own Requests
AI 导读
研究通过激活编辑向推理模型注入无关概念,发现模型会将其误认为当前任务并据此回答。在测试的六个模型中,99% 的生成内容遵循注入主题,即使提供正确提示,模型仍会虚构用户修改故事以维持错误信念。
来源:arXiv · ML · arxiv.org