跳到正文
arXiv · AI· Danyal Aftab, Anas Zafar, Assadig Abakr, Steven Davy·· 10 天前AI 评分20

SlimFM:基于压缩 LLaMA3 的低延迟点击率预测框架

Slim Foundation Models for Latency-Critical Recommendation Serving

AI 导读

SlimFM 通过压缩 LLaMA3-8B 构建低延迟推荐管线,在四个数据集上保留 99% 以上精度,推理延迟降低最高 3.4 倍。 该框架采用依赖感知结构化剪枝将模型压缩至 4.5B 参数,结合 LoRA 微调生成字段级语义嵌入并注入 CTR 特征交互。

来源:arXiv · AI · arxiv.org