工具增强模型提示词敏感性研究

一项新发布的NLP研究指出，为模型引入工具虽能在程序可解答时提升准确率，但会加剧多数两两对比中的提示词敏感性，导致排名随措辞变化而不稳定。该研究采用匹配协议，将回答输出、推理、调用决策及工具返回等步骤分离，在六个开放模型、五个领域和五种措辞下进行测试，证实调用频率的变化受提示词、接口及指令描述的影响。基于此，论文建议在报告准确率之外，同步披露调用频率及不同措辞下的对比稳定性，以避免确定性报告掩盖模型比较的波动风险。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。