SERIAL-7基准：跨7种表示的可执行验证框架发布

Youngkyung Seo等引入SERIAL-7基准，这是首个韩英双语文档。该基准基于177个规范工件，构建了跨7种表示的可执行验证框架，旨在解决结构化输出中语义正确性与执行可靠性脱节的问题。测试显示，在10个模型中，REALIZE-L3的HSR（高层语义正确率）介于42.0%至93.9%之间。此外，全合规性测试揭示了最终答案正确且表示有效之外，还存在额外的工件级失败情况。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。