跳到正文
arXiv · NLP· Peng Xie, Amr Alanwar·· 21 天前AI 评分30

上下文批处理使 LLM 判决依赖于同批其他项

Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items

AI 导读

在 4-9B 参数模型中,将 2000 个条目分入不同随机批次(每批 25 项)会导致 11-22% 的判定结果改变,差异比重命名键或改写指令多出 6.5-13.3 分。 对 14-32B 参数模型,判定改变率为 6-15%;多数投票无法消除批次成员效应,且批处理判决与单条目判决存在 8.4-17.8% 的系统性差异。

来源:arXiv · NLP · arxiv.org