arXiv · NLP· Carson Rodrigues·· 7 天前AI 评分21
LLM 矛盾判断将队友错误误报为幻觉:多智能体 LLM 框架的断言感知重评分
A Contradiction Judge Counted Reported Teammate Errors as Hallucinations: An Assertion-Aware Re-Score of One Multi-Agent LLM Harness
AI 导读
多智能体 LLM 系统中,基于矛盾检测的 LLM 评委将队友错误的正确报告误判为幻觉,撤回了 v1 中广播使幻觉率从 0.492 升至 0.658 的结论。 对 1,832 条输出进行重评分发现,仅计算自主断言时广播效应为 -0.0208,统计提及时效应为 +0.1996,证实误判源于评分维度混淆。 结果基于单一框架与 13 个手写场景,缺乏人工验证,结论泛化性受限。
来源:arXiv · NLP · arxiv.org