Hugging Face Blog·· 2023-05-11AI 评分58
Hugging Face 发布辅助生成方法降低文本生成延迟
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 发布新的文本生成解码方法 assisted generation,利用更小的 assistant 模型先批量生成候选 token,再由主模型一次前向验证。
来源:Hugging Face Blog · huggingface.co