arXiv · NLP· Lin Sun, Heming Zhang·· 17 天前AI 评分21
生产环境 LLM 系统中外部经验服务的质量-成本权衡研究
External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs
AI 导读
生产级 LLM 系统引入外部经验虽能提升任务质量,但会增加在线推理延迟与服务成本。 研究对比了无经验基线、随机控制、全局注入及检索式选择性注入策略,在真实内容审核场景中分析质量与成本的权衡关系。 结果表明,当经验依赖具体案例时,检索式选择性注入优于无条件全局注入,且检索质量比单纯增加 Top-K 数量更关键。
来源:arXiv · NLP · arxiv.org