arXiv · NLP· Cheng Siong Chin·· 3 天前AI 评分22
MarineSparkLM-4B:通过参数高效适应构建的用于海洋与离岸工程的轻量级语言模型
MarineSparkLM-4B: A Lightweight Language Model for Marine and Offshore Engineering Built by Parameter-Efficient Adaptation
AI 导读
基于 40 亿参数的 OceanGPT-basic-4B-Instruct,通过训练两个 LoRA 适配器构建 MarineSparkLM-4B。 每个适配器更新 3300 万参数(占 0.81%),在单台 NVIDIA DGX Spark 上训练耗时分别为 4 小时 40 分钟和 10 分钟。
来源:arXiv · NLP · arxiv.org