arXiv · AI· Jiulin Li, Ping Huang·· 2026-10-06AI 评分22
大语言模型懂八字规则却不会用:Bazi 基准测试揭示理论与案例推理差距
Knowing the Rules, Applying the Rules: Evaluating Language Models on Traditional Chinese Bazi
AI 导读
一项针对传统中国八字的基准测试发现,六个语言模型在理论题上的准确率全面高于案例题,排除无效回答后差距仍达 16.60-29.56 个百分点。 该基准包含 3,000 道中文多选题,覆盖 14 个理论类和 11 个案例类,主结果基于 2,492 题的精炼集;十二长生与纳音平均准确率分别为 89.10% 和 88.62%,而事业与六亲仅 36.98% 和 38.19%。
来源:arXiv · AI · arxiv.org