arXiv · NLP· Bibek Bhandari, Kshitij Lingthep·· 10 天前AI 评分37
良性训练隐藏状态探针在对抗条件下检测工具错误的能力评估
Do Benign-Trained Hidden-State Probes Detect Tool Errors Under Adversarial Conditions?
AI 导读
基于良性轨迹训练的隐藏状态探针在对抗条件下未必能可靠检测工具操作错误。 实验使用 Qwen2.5-14B-Instruct 等模型,发现其系统覆盖条件下的标量不确定性指标 AUROC 和 AP 均高于隐藏状态探针。 研究建议在对抗环境下不能假设良性探针具备可靠的工具错误检测能力。
来源:arXiv · NLP · arxiv.org