流式生成：通过边输入边回答优化时间至答案

研究人员提出流式生成解码机制，让大语言模型在用户未完全输入提示词时就开始生成并修正响应。该机制旨在缩短用户从提交请求到获得可用响应的时间，而无需加速解码过程本身。 在自回归和扩散语言模型上的评估显示，流式生成能在特定条件下降低用户可见的延迟。其核心优势在于仅残留少量答案需要在请求提交后计算，从而显著优化交互体验。