arXiv · AI· Rui Sun, Peizhao Mei, Xiewei Cheng, Kaizhuo Chen, Taoran Li, Zhiyuan Yu, Varun Chandrasekaran·· 29 天前AI 评分29
多语言大语言模型推理轨迹评估:整体相似度高估一致性
Same Answer, Different Reasons: Trace-Level Divergence in Multilingual Large Language Models
AI 导读
研究人员提出轨迹级分歧框架,解决多语言LLM评估痛点。实验覆盖3个基准、7种语言及6个前沿LLM,发现52.1%至67.3%的案例中,整体相似度与结构相似度存在显著背离。人类判断更符合结构相似度,表明当前评估会高估多语言部署的一致性。
来源:arXiv · AI · arxiv.org