arXiv · NLP· Jize Jiang, Chengxiang Zhai·2026-10-19 12:00· 8 小时前AI 评分23

基于胜任力的逻辑推理评估方法在 LLM 中的应用

Competence-Based Evaluation of Logical Reasoning in Large Language Models

AI 导读

提出基于胜任力评估（CBE）范式，以参数化生成器固定核心能力、变换呈现形式，量化 LLM 逻辑推理泛化性能。在 GPT 和 Qwen 六款模型测试中，强模型在复杂任务族下仍无法满足胜任力条件；引入 CoT 和 GRPO 可部分缓解，但 LoRA 微调泛化有限。

来源：arXiv · NLP · arxiv.org