跳到正文
arXiv · NLP· Zhiyang Niu, Huayuan Shen, Chuanjie Li, Mengmeng Zhao, Jiajia Zhang·· 3 天前AI 评分32

阶梯语义蒸馏:低算力非LLM代理保留LLM智能体自由形式语义

Staged Semantic Distillation: Preserving Free-Form Semantics in a Low-Compute Non-LLM Surrogate of a Staged LLM Agent

AI 导读

提出阶梯语义蒸馏方法,通过冻结编码器将教师输出映射为1024维向量,训练13.2M参数非LLM学生模型。 该模型仅需1,658秒在8GB GPU上训练,单次决策耗时0.14毫秒,零教师调用;与教师余弦相似度达0.943,比无语义重训高+2.2分。 方法在单一市场模拟器上验证有效,20万次决策扫描仅需12分钟,显著优于教师需三小时的处理时间。

来源:arXiv · NLP · arxiv.org