Hacker News LLM· archons·· 1 天前AI 评分61
确定性LLM推理未使CTGT政策摄取管道保持确定性
Deterministic LLM Inference Did Not Make Our Pipeline Deterministic
AI 导读
CTGT启用Qwen3.8-27B的确定性推理后,测试请求完全一致,但同一银行政策手册的四次运行产生了不同的义务集合。调查发现管道将不可排序的资产ID写入提示词导致输入不稳定,团队通过稳定别名和排序修复了问题。作者开源了用于定位此类问题的Concordance工具。
来源:Hacker News LLM · ctgt.ai