九款LLM Pydantic结构输出失败实证研究

Amit Verma 在 arXiv 发布论文，针对 OpenAI 和 Anthropic 的九款模型进行实证测试。研究使用 HotpotQA 和 FinanceBench 数据集，共执行 3,997 次生成尝试，以评估强制 Pydantic 结构化输出的表现。 数据显示，Markdown 围栏 JSON 是主要失败模式。在 681 次围栏失败案例中，仅 48.0% 在移除围栏后通过验证，其余失败主要源于隐藏的字段长度违规，暴露了模型输出的不稳定性。 研究提出涵盖验证器、模式、重试及评估设计的 4 项工程实践建议，并公开了细粒度失败分类法与确定性分类器，旨在为 LLM 结构化输出提供工程化参考。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。