Apertus：在自有服务器上使用 vLLM 部署瑞士开源多模态 LLM

企业可通过在自有服务器上部署 Apertus 等开源权重模型实现 LLM 主权，避免依赖商业 API 带来的隐私和弃用风险。 Apertus 8B 模型采用 BF16 格式，需至少 32GB GPU 显存；测试基于 1 块 48GB Nvidia RTX A6000，使用 vLLM 框架并启用 thinking 模式。 该方案将数据保留在内部网络，确保核心资产私密且受控。