跳到正文
Hacker News LLM· matt_d·· 2026-10-09AI 评分29

Vosti: 指定、实现并验证确定性 LLM 推理

Vosti: Specifying, Implementing, and Verifying Deterministic LLM Inference

AI 导读

Vosti 是针对确定性 LLM 推理的引擎,通过形式化规范保证相同提示和初始采样器状态在对应输出位置产生比特级相同的 logits,解决了 vLLM 和 SGLang 确定性模式在某些执行变化下 logits 不一致的问题。

来源:Hacker News LLM · arxiv.org