强推理模型LLM路由联合收益与成本研究

2026年11月4日，Teng-Ruei Chen在arXiv发表技术报告，评估在LLM路由中引入强推理模型的联合收益与成本。研究在NVIDIA B300上测试，使用Llama-3.3-70B、Nemotron Nano 9B v2及Super 49B v1.5，限制65,536 token，对MATH-500全部500题、每题30个种子样本进行实验。 结果显示，两个推理模型在MATH-500上准确率达96.1%，显著高于70B基线的76.2%。研究指出，加入强推理模型虽带来联合溢价，但整体成本影响较小，同时需关注失控生成带来的代价。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。