arXiv发布流式生成论文：边输入边回答优化延迟

2026年10月19日，arXiv平台在自然语言处理领域发布论文《Answering While You Type: Optimizing Time-to-Answer with Streaming Generation》。研究人员提出一种流式生成解码机制，旨在让大语言模型在用户未完全输入提示词时，就开始生成并修正响应。 该机制的核心优势在于无需加速解码过程本身，而是通过边输入边生成，使得在请求提交后仅残留少量答案需要计算。这有效缩短了用户从提交请求到获得可用响应的时间，显著优化了交互体验。 研究团队在自回归和扩散语言模型上对该机制进行了评估。结果显示，在特定条件下，流式生成能够降低用户可见的延迟。目前该研究已作为预印本发布，旨在为优化模型响应速度提供新的技术路径。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。