跳到正文
arXiv · NLP· Cheng Siong Chin·· 3 天前AI 评分22

MarineSparkLM-4B:通过参数高效适应构建的用于海洋与离岸工程的轻量级语言模型

MarineSparkLM-4B: A Lightweight Language Model for Marine and Offshore Engineering Built by Parameter-Efficient Adaptation

AI 导读

基于 40 亿参数的 OceanGPT-basic-4B-Instruct,通过训练两个 LoRA 适配器构建 MarineSparkLM-4B。 每个适配器更新 3300 万参数(占 0.81%),在单台 NVIDIA DGX Spark 上训练耗时分别为 4 小时 40 分钟和 10 分钟。

来源:arXiv · NLP · arxiv.org