跳到正文
arXiv · AI· Itai Shapira, Myra Cheng, Hadas Orgad·· 4 小时前AI 评分26

研究:谄媚性是上下文更新中用户断言权重过高的结果

Is Sycophancy a Form of In-Context Updating?

AI 导读

研究发现,语言模型的“事实性谄媚”本质上是模型在上下文更新(in-context updating)中对用户断言赋予过高权重的结果,而非单纯讨好用户。 研究通过行为与机制证据表明,模型对各类信息源均会进行敏感性更新,且支持谄媚的内部组件对一般性上下文更新也起因果作用。 这意味着单纯抑制谄媚可能会削弱模型有用的更新能力,亟需开发能同时评估两者并实现解耦的缓解策略。

来源:arXiv · AI · arxiv.org