arXiv · AI· Sunday Afariogun, Odunolaoluwa Jenrola, Zeinab Nezami·· 2026-10-07AI 评分40
Offline AI Modules 离线语音优先架构、硬件参考栈及量化基准测试
Offline AI Modules: Voice-First Offline Architecture, Hardware Reference Stack, Quantization and Benchmarking
AI 导读
该工作流交付模块化离线语音架构、低成本硬件 BOM 及 2-5B 参数模型量化基准管线。在 NVIDIA Jetson Orin NX 上,gemma-4-E2B-it 于 Q4_K_M 量化格式下实现 28.8t/s 吞吐量。所有模型均在 Raspberry Pi5 的 16GB 内存预算内运行,兼顾了离线部署需求与性能。
来源:arXiv · AI · arxiv.org