DSPy+HELM研究揭示提示工程改变模型排名

2026年11月4日，arXiv平台发布一项由Asad Aali等人主导的结构化提示对语言模型评测影响的研究。该研究利用DSPy框架结合HELM基准，评估了4个前沿大模型及2个开源模型在7个基准上的表现，并同步开源了相关评估工具与提示优化流程。 研究发现，提示选择会显著改变语言模型的排行榜。在对比HELM基线分数时，使用5种不同的提示方法进行测试，结构化提示平均提升了6%的性能。此外，7个基准中有5个的模型排名发生了变动，表明现有评测体系对提示形式较为敏感。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。