arXiv · AI· Asad Aali, Muhammad Ahmed Mohsin, Vasiliki Bikia, Arnav Singhvi, Richard Gaus, Suhana Bedi, Hejie Cui, Miguel Fuentes, Alyssa Unell, Yifan Mai, Jordan Cahoon, Michael Pfeffer, Roxana Daneshjou, Sanmi Koyejo, Emily Alsentzer, Christopher Potts, Nigam H. Shah, Akshay S. Chaudhari·· 8 小时前AI 评分33
结构化提示如何提升语言模型评估：DSPy+HELM 基准研究
Structured Prompts Improve Evaluation of Language Models
AI 导读
研究采用 DSPy 框架结合 HELM 基准，发现提示选择会显著改变排行榜。 使用 5 种提示方法评估 4 个前沿及 2 个开源大语言模型，结构化提示平均提升性能 6%，5/7 基准排名发生变动。 已开源 DSPy+HELM 评估工具及提示优化流程。
来源：arXiv · AI · arxiv.org