端侧 VLM 持续感知下的能耗组成与优化边界重审

针对端侧视觉语言模型（VLM）在持续感知场景下的能耗，研究重审了视觉预填充（visual-prefill）的能量结论。 在 Jetson AGX Thor 和 Orin 上剖析 9 款 VLM 的 4,508 条记录，发现单次输出 token 解码成本随模型规模单调增长，而视觉预填充成本主要受视觉编码器架构效率主导。

摘自 arXiv · AI

还没有足够的连续观测数据，暂不绘制趋势。