arXiv · NLP· Mengdi Chu, Jintao Huang·· 4 小时前AI 评分21
研究评估大语言模型对不完美伙伴的校准信任能力
Can LLMs Trust Appropriately? Evaluating Calibrated Reliance on Imperfect Partners
AI 导读
该研究引入包含324个场景的基准,评估7个模型在协作中根据证据调整信任策略的能力。 测试表明最强前沿模型接近最优决策,而其他模型常出现过度保护、购买零信息价值测试或错误分配辅助等路径学问题。 提供显式后验分布虽能解决部分错误,但会引入新的失效模式。
来源:arXiv · NLP · arxiv.org