LGMT：用于测试 LLM 逻辑推理可靠性的开源工具

LGMT 是一款开源工具，通过基于一阶逻辑的变形关系检测 LLM 逻辑推理中的不一致性。它无需真实标签，生成逻辑等价的后继测试用例并对比模型蕴含预测。 该工具内置 20 种变形关系，支持 Z3 定理证明器验证自定义关系，提供 CLI 和 Web 界面。在 6 款常用 LLM 的 3,091 个基准测试组中，检测出的不一致率介于 20.84% 至 29.44% 之间。