Hacker News LLM· shortlived·· 6 天前精选AI 评分77
DetLLM:通过纯整数运算消除LLM推理中的非确定性
Eliminating Nondeterminism in LLM Inference with Integer-Only Arithmetic
AI 导读
作者发布 DetLLM 项目,实现 Qwen3-0.6B 在纯整数运算下跨设备比特级确定推理。在 A100、H100、CPU 等 9 种配置下,整数推理产生唯一哈希值,而 fp16 推理产生 9 个不同哈希值。整数推理的 WikiText2 困惑度为 20.72,略优于 fp16 的 20.95;经过内核优化,解码速度可达 106 tok/s。
推荐理由
作者展示了用纯整数运算实现跨设备比特级确定的LLM推理方法,并给出性能与困惑度数据。
来源:Hacker News LLM · nathan.rs