跳到正文
arXiv · NLP· Riju Marwah, Ritvik Garimella, Khusham Bansal, Atishay Jain, Amit Sheth·· 2026-10-05AI 评分31

多语言干扰下的 LLM 输出语言混淆评估

Output Language Confusion under Multilingual Prompt Contamination

AI 导读

研究发现 Llama-3.1-8B 在 Hindi 干扰下 58% 响应切换至 Devanagari 脚本,导致原始幻觉率误判为 0.710,修正后语义幻觉率为 0.470。 该研究提出 MDI 评估协议,对 5 个指令微调 LLM 进行了 40,000 次测试,发现段落级英语干扰触发近普遍弃权。 该结果表明在混合语言场景下,精确匹配幻觉率需分解为脚本切换和语义错误两部分以评估模型可靠性。

来源:arXiv · NLP · arxiv.org