ParetoOps：针对 LLM 评估成本的 CI 门禁工具

ParetoOps 是一款针对 LLM 评估结果的 CI 门禁工具，能检查每次代码拉取请求是否导致准确性下降或成本上升。 它兼容 Promptfoo、LangSmith 等工具，无需调用模型即可离线运行，通过对比基线数据提供回归预警。 免费版可计算每次成功任务的最低成本，Pro 版支持基于置信区间的历史对比，每月 99 美元。