arXiv · ML· Hansheng Ren·· 16 小时前AI 评分23
Halo架构：基于有理算术的无限深度推理
From Fuzzy to Exact: The Halo Architecture for Infinite-Depth Reasoning via Rational Arithmetic
AI 导读
提出基于有理数域（Q）和自定义精确推理单元（EIU）的Halo架构，以解决大语言模型中浮点数运算的数值不稳定问题。 采用双环拓扑（Micro-Ring和Macro-Ring）控制位宽增长，通过移除数值辅助结构将Transformer简化为“干净”代数形式。 证明消除梯度噪声可支持宏学习率，大幅缩短收敛时间，表明通用智能需混合连续场与离散链。
来源：arXiv · ML · arxiv.org