跳到正文
arXiv · AI· Yifan Luo, Zhengying Liu, Yang Yuan, Zhilin Yang, Andrew Chi-Chih Yao·· 14 天前AI 评分52

TCSExam 发布:评测前沿 LLM 解决理论计算机科学问题的能力

TCSExam: Evaluating Frontier LLMs on the Full Range of TCS Research

AI 导读

论文提出了 TCSExam,一个覆盖定理证明、求解器工程、构造及解决未解难题的理论计算机科学评测基准。基准包含 100 道专家审查任务,验证结果由 Lean kernel 或可执行检查器确认。评测显示 GPT-6 Astra 在全量版得分最高为 71.9,Opus 5.5 在轻量版得分最高为 72.3,两者排名高度一致(Spearman's ρ=0.93)。

来源:arXiv · AI · arxiv.org