跳到正文
Hacker News LLM· shortlived·· 6 天前精选AI 评分77

DetLLM:通过纯整数运算消除LLM推理中的非确定性

Eliminating Nondeterminism in LLM Inference with Integer-Only Arithmetic

AI 导读

作者发布 DetLLM 项目,实现 Qwen3-0.6B 在纯整数运算下跨设备比特级确定推理。在 A100、H100、CPU 等 9 种配置下,整数推理产生唯一哈希值,而 fp16 推理产生 9 个不同哈希值。整数推理的 WikiText2 困惑度为 20.72,略优于 fp16 的 20.95;经过内核优化,解码速度可达 106 tok/s。

推荐理由

作者展示了用纯整数运算实现跨设备比特级确定的LLM推理方法,并给出性能与困惑度数据。

来源:Hacker News LLM · nathan.rs