Hugging Face Blog·· 2022-07-27精选AI 评分65
使用 XLA 加速 Hugging Face TensorFlow 文本生成
Faster Text Generation with TensorFlow and XLA
AI 导读
Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。
推荐理由
展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。
来源:Hugging Face Blog · huggingface.co