跳到正文
arXiv · AI· Souhaila Djaffal, Amna Jamal, Gagana Madhugiri Devaraja, Anidipta Pal, Jobst Heitzig·· 9 天前AI 评分32

评估 LLM 生成世界模型在神经符号推理中的有效性

Evaluating LLM-Generated World Models for Neuro-Symbolic Reasoning

AI 导读

研究通过基准测试发现,虽然大语言模型生成的世界模型在机械有效性上表现良好,但结构一致性低,证明可执行性并非忠实代表问题的充分条件。 涉及 44 个场景的 410 次生成评估,严格审计通过率达 99%,但平均结构 F1 仅为 0.366,仅 21% 模型与参考完全匹配。 这显示现有 LLM 生成模型需结合语义标准进行更深层验证,不能仅依赖机械有效性。

来源:arXiv · AI · arxiv.org