跳到正文
Hugging Face Blog·· 2023-11-07AI 评分21

RoBERTa、Llama 2 与 Mistral 在灾难推文分析中的 LoRA 性能对比

Comparing the Performance of LLMs: A Deep Dive into Roberta, Llama 2, and Mistral for Disaster Tweets Analysis with Lora

AI 导读

文章对比了 RoBERTa-large(355M 参数)、Llama 2-7B 与 Mistral 7B-v0.1 在灾难推文分类任务中的表现,采用 LoRA 进行参数高效微调,统一最大序列长度为 512 tokens,以探索不同规模模型在序列分类任务中的性能差异。

来源:Hugging Face Blog · huggingface.co