arXiv · NLP· Xinyan Wang, Xiaogeng Liu, Ming Pei, Chaowei Xiao·· 9 小时前AI 评分30
ROM: 基于流式检测与干预的实时过度推理缓解方法
ROM: Real-time Overthinking Mitigation via Streaming Detection and Intervention
AI 导读
ROM方法通过流式检测器监控大推理模型，在良好推理边界进行干预，无需答案提取。 检测器参数仅占骨干模型0.07%-0.25%，配合CSC技术保留有用自纠正，使响应长度平均减少45%，端到端延迟降低20%-70%。
来源：arXiv · NLP · arxiv.org