跳到正文
arXiv · AI· Naihao Deng, Alissa Shen, Yiming Feng, Joan Nwatu, Jae-Won Chung, Mosharaf Chowdhury, Yulong Chen, Rada Mihalcea·· 2 天前AI 评分36

测量多语言 LLM 推理能耗:揭示语言间能源鸿沟

The Language-Energy Divide: Measuring Energy Costs of Multilingual LLM Inference

AI 导读

这项研究揭示了多语言 LLM 推理中的显著能源鸿沟,不同语言间单位 token 能耗差异高达 8.3 倍。 固定请求集的总能耗差异达 179 倍,英语最低(17.6 kJ)而普什图语最高(3,147 kJ),且高能耗语言通常任务准确率更低。 研究建议社区将能源纳入一级评估指标,扩展模型卡报告项,并采用部署侧优化以提升能效。

来源:arXiv · AI · arxiv.org