arXiv · AI· Keegan Wang·· 2026-10-14AI 评分39
迭代 LLM 并部署 SLM:基于生产数据蒸馏的低成本推理方法
Iterate on an LLM, Serve on an SLM
AI 导读
该方法先通过 GPT-5.4-nano 在提示空间开发行为,再将记录的生产行为通过 SFT 蒸馏至 Qwen3-8B。 LoRA 微调后的 Qwen3-8B 在 1.16 万条数据上达到 0.913 一致性,教师模型自一致率仅 72.7%,且学生模型中位延迟低 2.5 倍、成本更低。 该方法为构建低成本、低延迟的智能体系统提供了可复制的蓝图。
来源:arXiv · AI · arxiv.org