跳到正文
arXiv · AI· Sooyoung Kwon, Carlee Joe-Wong, Kyunghan Lee·· 24 天前AI 评分37

TRIAGE:结合复用与剪枝实现高效视觉-语言-动作推理

TRIAGE: Efficient Vision-Language-Action Inference Needs Both Reuse and Pruning

AI 导读

提出无需训练的推理加速框架 TRIAGE,在保持任务成功率的同时显著降低预填充延迟。 通过令牌级诊断发现,缓存复用与剪枝策略的有效性取决于令牌漂移值;复用高漂移令牌会导致最高 4.4 倍的动作误差,而 TRIAGE 据此动态分配固定重算预算。

来源:arXiv · AI · arxiv.org