跳到正文
arXiv · AI· Frederic Andriantseheno Rakoto (Mnemosyne), Yannis Bendi-Ouis (Mnemosyne), Xavier Hinaut (Mnemosyne)·· 4 天前AI 评分21

本地LLM科学论文检索:Mac Studio与NVIDIA A100上的检索成功率与推理延迟评测

Evaluating Large Language Models for Scientific Paper Search: Retrieval Success and Inference Latency on Mac Studio and NVIDIA A100

AI 导读

研究评估了8个开源模型在Mac Studio和双NVIDIA A100 GPU上辅助科学论文检索的性能,涵盖512至128k token上下文下的推理延迟。 实验在7个科学库中检索70篇论文,结果显示检索成功率受模型选择和查询具体程度影响显著;A100速度普遍更快,但Mac Studio统一内存可加载更大模型。

来源:arXiv · AI · arxiv.org