arXiv · NLP· Ali Sarabadani, Massimo Piccardi, Mehran Abolhasan, Farzad Tofigh, Ian Zhou, Justin Lipman·· 8 小时前AI 评分33
FederatedBytes：面向高效多模态联邦学习的无分词器字节级小语言模型
FederatedBytes: Tokenizer-Free, Byte-Level Small Language Models for Efficient Multimodal Federated Learning
AI 导读
FederatedBytes 通过无分词器字节级处理文本与图像，结合线性注意力机制，在联邦学习中显著降低内存与通信开销。 模型在多语言和多模态情绪分析任务（Multilingual Amazon Reviews 和 ScienceQA 数据集）中，准确率超过 ByT5 和 LSTM 等可比模型，同时大幅减少资源消耗。
来源：arXiv · NLP · arxiv.org