arXiv · AI· Pavel Kireyev·· 2 天前AI 评分41
RAW:基于因果测量方法评估部署 LLM 的拒绝回避效应
RAW: Refusal Aversion in the Wild, A Causal Measurement Method for Deployed LLMs
AI 导读
研究提出 RAW 方法,利用 LLM 随机性作为自然实验,测量部署模型中拒绝请求对用户后续再互动的因果影响。 该方法在 15 个部署 LLM 上应用,发现约半数模型中一次拒绝导致后续再互动率下降 3 至 17 个百分点,其余模型无显著差异;方法仅基于日志运行,成本约 0.30 美元/1,000 次对话,并已开源代码与数据。
来源:arXiv · AI · arxiv.org