跳到正文
热点事件持续更新

巴什基尔语低资源LLM适应基准与语料库发布

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月23日,研究人员在arXiv发布针对巴什基尔语的开源资源包。该资源包含由71,567个文档组成的Web语料库,总计46.9M tokens,所有产出均为开放许可。该语料库源自16个不同渠道,旨在为低资源语言模型提供基础数据支撑。 研究团队基于该语料库构建了系统性基准测试,评估8种不同架构的模型,规模从82M到8B不等。测试涵盖全量微调、QLoRA和上下文学习三类适应方法,并结合持续预训练技术。实验重点考察了模型在巴什基尔语任务中的表现差异。 结果显示,QLoRA结合持续预训练在二元分类任务中表现最佳。其中,YandexGPT-5-Lite-8B模型达到0.748的macro-F1指标。此外,研究发现巴什基尔语tokenizer在生育率方面存在高达2.67倍的差异,这为后续优化提供了参考依据。

AI 根据报道生成 · 2 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. arXiv · NLP
    巴什基尔语低资源 LLM 适应:语料库、数据集与可复现基准

    针对低资源巴什基尔语,发布含 46.9M tokens 语料及三类标注数据集的开源基准,测试 8 种模型(82M-8B)及 QLoRA 等适应方法。 QLoRA 结合持续预训练在二元分类中表现最佳,YandexGPT-5-Lite-8B macro-F1 达 0.748;巴什基尔语 tokenizer 生育率差异达 2.67 倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。