跳到正文
arXiv · NLP· Karl Hanna, Chen Feng·· 2026-10-14AI 评分22

LLM 多选题评测中准确率与顺序敏感度的背离研究

A, B, C, or Stable? Accuracy and Order Sensitivity Diverge in LLM Multiple-Choice Evaluation

AI 导读

LLM 在 MMLU 和 ARC-Challenge 上的准确率与顺序敏感度并非同步变化。 实验发现 GPT 使用两级提示可减少翻转率且准确率无显著改变,Llama 加入推理则使 RStd 大幅下降而翻转率保持不变。建议评测时同时报告翻转率、RStd 和准确率。

来源:arXiv · NLP · arxiv.org