跳到正文
arXiv · AI· Sven Kleinkop, Tam\'as Janusko, Ricardo Bochnia, Gunnar Hempel, Steffen Tomschke, J\"urgen Anke, Maik Thiele·· 14 天前AI 评分30

PromptOps:用于 LLM 裁判系统的迭代提示词优化

PromptOps: Iterative Prompt Optimization for LLM-as-a-Judge Systems

AI 导读

研究提出 PromptOps 框架,通过迭代优化提示词解决 LLM 裁判系统的“裁判漂移”问题。 框架分离了优化时机、算法选择、反馈记录使用及提示词更新四个决策维度,集成了 GEPA、SIMBA 及模拟退火等五种方法。 实验表明该方法能在参考分数分布偏移后恢复性能,但有效维护依赖具体场景,算法与更新时机无法通用。

来源:arXiv · AI · arxiv.org