跳到正文
arXiv · NLP· Zhe Dong (University of Maine at Presque Isle), Fang Qin (Stanford University), Manish Shah (Independent Researcher)·· 13 小时前AI 评分20

推理模型服务中风险控制的早退机制配置研究:何时学习停止有帮助?

When Does Learning to Stop Help? Configuring Risk-Controlled Early Exit for Reasoning-Model Services

AI 导读

在推理模型服务中,基于校准数据动态选择停止规则比预设静态token预算更优。5%风险目标下,学习规则在Qwen3上比静态预算多节省10.4-17.0个百分点token,准确率低于完整推理2.4-2.9点。 预承诺某类策略在某些工作负载中最高损失27.4点,而校准选择最多仅落后最优类11.6点;Qwen3-8B在vLLM中平均响应时间与生成token数成正比。

来源:arXiv · NLP · arxiv.org