arXiv · NLP· Amit Verma·· 4 小时前AI 评分33
九款 LLM 强制 Pydantic 结构化输出失败的实证研究
Why Does Structured Output Fail? An Empirical Study of Prompt-Enforced Pydantic Schemas Across Nine LLMs
AI 导读
研究九款 OpenAI 和 Anthropic 模型在 3,997 次生成尝试中，发现 Markdown 围栏 JSON 是主要失败模式。 在 681 次围栏失败中，仅 48.0% 在移除围栏后通过验证，其余多隐藏字段长度违规。 提出 4 项工程实践用于验证器、模式、重试及评估设计，并公开分类器与数据集。
来源：arXiv · NLP · arxiv.org