跳到正文
arXiv · AI· Peter Steiner, Jan Hochweber·· 9 天前AI 评分27

基于知识空间理论的大语言模型下一步推荐基准测试

Benchmarking LLM Next-Step Recommendations with Knowledge Space Theory

AI 导读

研究者提出基于知识空间理论(KST)的基准测试方法,评估大语言模型(LLM)在数学领域的下一步推荐准确性。 测试分析了六个模型在 2400 个响应中的表现,仅在描述下准确率为 61.3%,提供完整知识空间时达 98.2%。 该基准支持模型与提示词组合的对比,但不直接确立学习效益或 LLM 的必要性。

来源:arXiv · AI · arxiv.org