跳到正文
arXiv · NLP· Mengdi Chu, Jintao Huang·· 4 小时前AI 评分21

研究评估大语言模型对不完美伙伴的校准信任能力

Can LLMs Trust Appropriately? Evaluating Calibrated Reliance on Imperfect Partners

AI 导读

该研究引入包含324个场景的基准,评估7个模型在协作中根据证据调整信任策略的能力。 测试表明最强前沿模型接近最优决策,而其他模型常出现过度保护、购买零信息价值测试或错误分配辅助等路径学问题。 提供显式后验分布虽能解决部分错误,但会引入新的失效模式。

来源:arXiv · NLP · arxiv.org