工具增强模型对比中的提示词敏感性研究

研究发现为模型引入工具虽在程序可解答时提升准确率，但会加剧多数两两对比中的提示词敏感性，导致排名随措辞变化而不稳定。 该研究通过匹配协议将回答输出、推理、调用决策及工具返回等步骤分离，在六个开放模型、五个领域和五种措辞下进行测试，证实调用频率的变化受提示词、接口及指令描述的影响。 论文建议在报告准确率的之外，同步披露调用频率及不同措辞下的对比稳定性，以避免确定性报告掩盖模型比较的波动风险。