实验评估 LLM 专家人设提示词对事实准确率、成本与速度的影响

Cameron Palmer 通过 5000 道 MMLU-Pro 选择题测试 4 个模型在 5 种提示词条件下的表现，发现专家人设普遍不提升准确率，甚至导致部分模型准确率下降。数据显示，增加专家人设会使部分模型推理 token 显著增加，Ling 3.0 Flash 延迟最高增加 36%，整体成本与耗时上升，建议在关注成本与速度时移除专家人设。