arXiv · NLP· Emma Graham, Richard Granger·· 17 天前AI 评分25
GPT 5.5 Pro 推理水平通过语法透镜基准测试进行区分
Distinguishing among reasoning levels of GPT 5.5 Pro via a grammar lens benchmark
AI 导读
形式化语法透镜基准测试生成不同计算能力层级的数据,用于区分 GPT-5.5 及其 Pro 版本的推理水平。 测试 GPT-5.5 及 GPT-5.5-Pro 的 Medium、High、XHigh 模式,数据接受率分别为 16%、40%、43% 和 52%。 随着测试时计算量增加,模型回答与人类回答分歧加剧,提示通用能力与对齐之间的潜在冲突。
来源:arXiv · NLP · arxiv.org