跳到正文
arXiv · NLP· Garvin Kruthof·· 11 天前AI 评分28

多轮 LLM 头脑风暴中的约束遵循:DriftBench 基准测试

Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation

AI 导读

新基准 DriftBench 显示,多数模型在迭代优化时会出现超过 50% 的“知错犯错”率,即重述正确但仍违背原始约束。 该测试覆盖 24 个科学领域的 38 份简报及 7 个模型,发现迭代压力会降低约束遵循度,且人工评分发现的违规更多,表明 LLM 法官评估偏保守。

来源:arXiv · NLP · arxiv.org