arXiv · ML· Matthias Busch, Marius Tacke, Tamadur Albaraghtheh, Sviatlana V. Lamaka, Mikhail L. Zheludkevich, Roland C. Aydin, Christian Feiler, Christian J. Cyron·· 4 小时前AI 评分23
7 款前沿 LLM 在分子属性预测中的自报不确定性评估：当上下文示例达 30 个时，最准确模型优于传统基线
Do LLMs Know When They Are Wrong About Molecules? In-Context Property Prediction with Self-Reported Uncertainty
AI 导读
研究评测了 7 款前沿 LLM 结合上下文示例预测分子属性及自报不确定性的能力。 在 30 个上下文示例时，最准确的 LLM 性能超越所有传统基线；自报不确定性与预测误差的 Spearman 秩相关系数最高仅 0.46。 LLM 在污染数据集 ESOL 上未随上下文增加而改进，表明该数据集已被模型记忆。
来源：arXiv · ML · arxiv.org