arXiv · ML· Timoth\'ee Lesort, Alejandra L\'opez de Aberasturi G\'omez, Tristan Karch, Tom Veniat, Philippe Modard, Karl Tuyls, Ludovic Denoyer·· 8 小时前AI 评分29
利用国际象棋基准测试大语言模型提示词优化
Benchmarking Prompt Optimization of Large Language Models With Chess
AI 导读
研究人员提出基于1,118个Lichess谜题的国际象棋基准，用于评估冻结LLM的自动提示词优化。该基准包含精确匹配评分和引擎评估，具备可再生性和难度调节功能。 测试覆盖6种APO算法和8个目标模型。最强元模型Gemini 3.5 Flash仅解决约55%谜题，完整研究成本约800美元，代码与数据已开源。
来源：arXiv · ML · arxiv.org