Hacker News LLM· gagan2020·· 4 小时前AI 评分44
NCM 粗到细生成范式:LLM 如何先概念后措辞
Brain Doesn't Think in Sentences. Why Should an LLM?
AI 导读
NCM 采用粗到细层级生成,先构建文本概念压缩摘要,最后生成具体词汇。在 LM1B 基准上,NCM 生成困惑度为 93.05,比 DUO 基线快约 21 倍。该模型训练所需 token 位置减少 4-5 倍,但并非模拟人类思维,仅打破逐 token 生成假设。
来源:Hacker News LLM · innerkore.com