Hacker News LLM· matt_d·· 2026-10-09AI 评分29
Vosti: 指定、实现并验证确定性 LLM 推理
Vosti: Specifying, Implementing, and Verifying Deterministic LLM Inference
AI 导读
Vosti 是针对确定性 LLM 推理的引擎,通过形式化规范保证相同提示和初始采样器状态在对应输出位置产生比特级相同的 logits,解决了 vLLM 和 SGLang 确定性模式在某些执行变化下 logits 不一致的问题。
来源:Hacker News LLM · arxiv.org