DMR 框架：面向高效多步 LLM 交互的动态混合精度路由

提出动态混合精度路由框架 DMR，通过轻量级路由器在交互步骤间自适应选择高精度或低精度 LLM，实现平均 2.44x 解码加速且任务成功率相当。 DMR 基于全空间因子化联合预测步骤发散及结果影响，复用共享高精度 KV cache，每步路由开销小于 1ms，平均降低 39% 内存占用。