跳到正文
arXiv · AI· Jiayi Chen, Hui Li, Yujiong Shen, Qiyuan Peng, Yanxin Li, Chenhao Huang, Shaofan Liu, Guoqiang Zhang, Junjie Ye, Shihan Dou, Ming Zhang, Maxm Pan, Tao Gui, Qi Zhang, Xuanjing Huang·· 29 天前AI 评分31

TIDE:基于行为诱导决策树的 LLM 细粒度诊断评估方法

TIDE: Tree-Induced Fine-Grained Diagnostic Evaluation from Model Behaviors

AI 导读

TIDE 提出将诊断评估重构为行为驱动的决策树归纳,通过层级能力树实现细粒度能力诊断。 该方法利用 LLM 裁判提出候选分裂,并基于行为信息增益选择最优分裂,在五个模型和四个基准测试中揭示了聚合分数无法识别的能力差异,例如 Claude Opus 4.6 在微观经济市场推理中达到 100% 而 GPT-5.4 为 83.3%。

来源:arXiv · AI · arxiv.org