跳到正文
Hacker News AI· myurushkin·· 3 小时前AI 评分65

确定性 AI:LLM 为何不满足确定性以及如何构建确定性产品

Deterministic AI: Why LLMs Aren't, and How to Build Products That Are Anyway

AI 导读

Thinking Machines 在 temperature 0 下运行同一 prompt 1000 次得到 80 种不同结果,证明 LLM 在 API 调用中即使设置 temperature 0 和固定 seed 也不具备确定性,主要受 batching、模型更新和输入漂移影响。

来源:Hacker News AI · broutonlab.com