跳到正文
arXiv · ML· Cong Xu, Ravi Sankar·· 4 天前AI 评分24

面向边缘 FPGA 的 Gated DeltaNet 分页状态硬件 Tile

The State Is Not the Bottleneck: A Paged-State Gated-DeltaNet Tile on a Tri-Mode Multicast Mesh, Bit-Exact from RTL to Silicon

AI 导读

在 Agilex 5 FPGA 上实现的 3.69 亿参数 Gated DeltaNet 模型 Tile 证明,递归状态分页并非解码瓶颈。该 Tile 处理单个 369 亿参数层,状态分页仅占总计算量的 11.2%,而权重加载限制了性能。

来源:arXiv · ML · arxiv.org