arXiv · NLP· Joe Stacey, Hadas Orgad, Kentaro Inui, Benjamin Heinzerling, Nafise Sadat Moosavi·· 16 小时前AI 评分25
ProbeDrift 评估框架揭示现有不确定性探针在分布外场景下的鲁棒性不足
A Robust Evaluation of Probe Robustness: Lessons for Reliable OOD Uncertainty Quantification
AI 导读
研究团队提出系统性评估框架 ProbeDrift，用于监督式不确定性探针在多种分布外设置下的鲁棒性测试。 框架训练了超过 2,000 个探针以解耦关键设计选择的影响，发现现有方法在接近分布外设置之外鲁棒性较差。 ProbeDrift 作为轻量级 Python 库开源发布，并通过 Hybrid Back-Off (HBO) 策略展示了洞察转化为更鲁棒方法的路径。
来源：arXiv · NLP · arxiv.org