跳到正文
arXiv · AI· Zahraa Selim, Menna Hamed, Wesam Ahmed, Sohyla Said, Sara Basheer, Rami Zewail·· 7 天前AI 评分28

面向消费级GPU的边缘原生多模态RAG:硬件感知量化与架构优化

Edge-Native Multimodal RAG: Hardware-Aware Quantization and Architectural Optimization for Consumer GPUs

AI 导读

该研究提出基于NVIDIA Tesla T4硬件的多模态RAG优化框架,将7B模型VRAM占用降至8.37 GB,实现12-16 GB显卡部署。 采用NF4量化保持长上下文稳定性(81 ms/tok延迟),结合Florence-2视觉集成仅增加430 MB VRAM开销;结构化提示词使延迟降低47%,数学推理准确率从35.0%恢复至92.0%。

来源:arXiv · AI · arxiv.org