arXiv · AI· Frederic Andriantseheno Rakoto (Mnemosyne), Yannis Bendi-Ouis (Mnemosyne), Xavier Hinaut (Mnemosyne)·· 4 天前AI 评分21
本地LLM科学论文检索:Mac Studio与NVIDIA A100上的检索成功率与推理延迟评测
Evaluating Large Language Models for Scientific Paper Search: Retrieval Success and Inference Latency on Mac Studio and NVIDIA A100
AI 导读
研究评估了8个开源模型在Mac Studio和双NVIDIA A100 GPU上辅助科学论文检索的性能,涵盖512至128k token上下文下的推理延迟。 实验在7个科学库中检索70篇论文,结果显示检索成功率受模型选择和查询具体程度影响显著;A100速度普遍更快,但Mac Studio统一内存可加载更大模型。
来源:arXiv · AI · arxiv.org