巴什基尔语低资源LLM适应基准与语料库发布
热点事件持续更新
巴什基尔语低资源LLM适应基准与语料库发布
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
2026年10月23日,研究人员在arXiv发布针对巴什基尔语的开源资源包。该资源包含由71,567个文档组成的Web语料库,总计46.9M tokens,所有产出均为开放许可。该语料库源自16个不同渠道,旨在为低资源语言模型提供基础数据支撑。 研究团队基于该语料库构建了系统性基准测试,评估8种不同架构的模型,规模从82M到8B不等。测试涵盖全量微调、QLoRA和上下文学习三类适应方法,并结合持续预训练技术。实验重点考察了模型在巴什基尔语任务中的表现差异。 结果显示,QLoRA结合持续预训练在二元分类任务中表现最佳。其中,YandexGPT-5-Lite-8B模型达到0.748的macro-F1指标。此外,研究发现巴什基尔语tokenizer在生育率方面存在高达2.67倍的差异,这为后续优化提供了参考依据。
AI 根据报道生成 · 2 小时前更新
最新进展10月23日 12:00
巴什基尔语低资源 LLM 适应:语料库、数据集与可复现基准报道时间线
沿着报道,了解事件的不同侧面。
10月23日
- arXiv · NLP巴什基尔语低资源 LLM 适应:语料库、数据集与可复现基准
针对低资源巴什基尔语,发布含 46.9M tokens 语料及三类标注数据集的开源基准,测试 8 种模型(82M-8B)及 QLoRA 等适应方法。 QLoRA 结合持续预训练在二元分类中表现最佳,YandexGPT-5-Lite-8B macro-F1 达 0.748;巴什基尔语 tokenizer 生育率差异达 2.67 倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。