跳到正文
arXiv · ML· Ching-Yun Ko, Yunhua Fang, Pin-Yu Chen·· 16 天前AI 评分26

vLLM Hook v1:编程 vLLM 模型内部状态的开源插件

vLLM Hook v1: A Plug-in for Programming Model Internals on vLLM

AI 导读

开源插件 vLLM Hook 发布,允许通过配置捕捉和干预 vLLM 模型的内部状态,实现被动探测与主动干预。 版本 1(vLLM Hook MIA)基于 vLLM V2 模型运行器,保留 CUDA 图,显著降低解码开销,支持离线使用与 vllm serve 服务。 该插件支持提示注入检测、幻觉检测、激活转向等用例,扩展了推理引擎的可编程性。

来源:arXiv · ML · arxiv.org