arXiv · AI· Danyal Aftab, Anas Zafar, Assadig Abakr, Steven Davy·· 10 天前AI 评分20
SlimFM:基于压缩 LLaMA3 的低延迟点击率预测框架
Slim Foundation Models for Latency-Critical Recommendation Serving
AI 导读
SlimFM 通过压缩 LLaMA3-8B 构建低延迟推荐管线,在四个数据集上保留 99% 以上精度,推理延迟降低最高 3.4 倍。 该框架采用依赖感知结构化剪枝将模型压缩至 4.5B 参数,结合 LoRA 微调生成字段级语义嵌入并注入 CTR 特征交互。
来源:arXiv · AI · arxiv.org