arXiv · AI· Peter Steiner, Jan Hochweber·· 9 天前AI 评分27
基于知识空间理论的大语言模型下一步推荐基准测试
Benchmarking LLM Next-Step Recommendations with Knowledge Space Theory
AI 导读
研究者提出基于知识空间理论(KST)的基准测试方法,评估大语言模型(LLM)在数学领域的下一步推荐准确性。 测试分析了六个模型在 2400 个响应中的表现,仅在描述下准确率为 61.3%,提供完整知识空间时达 98.2%。 该基准支持模型与提示词组合的对比,但不直接确立学习效益或 LLM 的必要性。
来源:arXiv · AI · arxiv.org