Mistrial：重跑 LLM 评判以检测结果翻转

Mistrial 是一款用于验证 LLM 评判者可靠性的工具，支持重跑评估以生成一致性报告。 它通过多次运行不同模型和评分标准，计算自我一致性、Kappa 系数及翻转案例。 该工具旨在解决 LLM 评判不稳定的问题，防止不可信的评分误导 CI 流程。