arXiv · ML· Wenqi Ni, Ozan Evkaya, Miguel de Carvalho·· 11 天前AI 评分26
DS-QA:评估 LLM 在数据科学任务可靠性的 Monte Carlo 协议
One Run Is Not Enough: A Monte Carlo Protocol for Evaluating LLM Reliability on Data Science Tasks
AI 导读
研究引入包含 100 个问题的 DS-QA 基准,利用 100 次重复运行的 Monte Carlo 协议评估 OpenAI 模型在数据科学任务中的可靠性。结果显示模型在中等和困难级别的数据可视化与监督学习任务中表现波动大,且词级冗长度每增加 0.1,token 级冗长度增加约 0.013。
来源:arXiv · ML · arxiv.org