跳到正文
Hugging Face Blog·· 2022-07-27精选AI 评分65

使用 XLA 加速 Hugging Face TensorFlow 文本生成

Faster Text Generation with TensorFlow and XLA

AI 导读

Hugging Face 宣布通过 XLA 编译器显著加速 TensorFlow 文本生成,性能提升最高达 100 倍,在多数情况下比 PyTorch 快 9 倍。该方法通过在 tf.function 中启用 jit_compile 参数实现优化,并需对输入进行填充以固定张量维度,从而避免重复编译。

推荐理由

展示了XLA编译将TensorFlow文本生成提速至百倍甚至超越PyTorch的方法,给出了可直接复用的优化步骤。

来源:Hugging Face Blog · huggingface.co