跳到正文
arXiv · AI· Rui Sun, Peizhao Mei, Xiewei Cheng, Kaizhuo Chen, Taoran Li, Zhiyuan Yu, Varun Chandrasekaran·· 29 天前AI 评分29

多语言大语言模型推理轨迹评估:整体相似度高估一致性

Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models

AI 导读

研究人员提出轨迹级分歧框架,解决多语言LLM评估痛点。实验覆盖3个基准、7种语言及6个前沿LLM,发现52.1%至67.3%的案例中,整体相似度与结构相似度存在显著背离。人类判断更符合结构相似度,表明当前评估会高估多语言部署的一致性。

来源:arXiv · AI · arxiv.org