FactorSpec: 将精确关系约束作为推测草稿以提升 LLM 结构化输出服务效率

论文提出 FactorSpec 方法，将 JSON Schema 关系约束编译为推测草稿，解决结构化输出中模型常违反语义关系的问题。 该方法在 SGLang 中实现每步验证高达 10.5 个 token，解码速度比逐负载调优推测器快 1.43 倍，且每条记录均有效。 在语法基线之上，FactorSpec 每 GPU-秒可服务多达 13.9 倍的有效记录，显著提升生成合规性。