跳到正文
arXiv · AI· Zabir Al Nazi, Shubhashis Roy Dipta·· 10 天前AI 评分36

TRIAGE:评估资源受限下大语言模型的预期元认知控制

TRIAGE: Evaluating Prospective Metacognitive Control in LLMs under Resource Constraints

AI 导读

TRIAGE 框架评估了大语言模型在有限 token 预算下制定最优求解计划的能力。 该框架让模型在竞赛数学、代码生成等任务池中,对选择、排序和资源分配做出前瞻性承诺,并以归一化 triage 效率和 regret 进行评分。 评测发现当前模型在预期元认知控制方面存在显著差距,为资源高效的智能体部署提供了新的能力维度。

来源:arXiv · AI · arxiv.org