arXiv · ML· Angelika Romanou, Mark Ibrahim, Candace Ross, Chantal Shaib, Kerem Oktar, Samuel J. Bell, Anaelia Ovalle, Jesse Dodge, Antoine Bosselut, Koustuv Sinha, Adina Williams·· 9 小时前AI 评分31
Brittlebench 如何量化 LLM 的提示词敏感度
Brittlebench: Quantifying LLM robustness via prompt sensitivity
AI 导读
Brittlebench 是一个新提出的评估管道，旨在量化前沿语言模型对提示词变体的敏感度（即脆性）。通过对知名基准测试应用语义保持的扰动，发现模型性能最多可下降 12%。 在 63% 的情况下，单次扰动会改变模型的相对排名，导致对比较性能的结论受影响。对开源和商业模型的方差分解显示，语义保持的输入扰动可占给定模型性能方差的一半，凸显了需要更鲁棒评估的重要性。
来源：arXiv · ML · arxiv.org