arXiv · AI· Fei Wang, Baochun Li, Bo Li·· 5 小时前AI 评分38
微调混合专家（MoE）LLM 中可恢复的专家利用特征分析
Characterizing Recoverable Expert-Utilization Signatures in Fine-Tuned Mixture-of-Experts LLMs
AI 导读
研究揭示微调混合专家（MoE）模型存在“结构性记忆”漏洞，即使仅用少量样本，模型也会记忆处理数据的内部路径并形成独特的路由指纹。 攻击者无需微调数据或流程，仅通过路由和输出 logits 即可从无条件生成中隐蔽恢复记忆路径，传统成员推理指标在此场景下失效。 分布式部署中路由信息在联邦聚合点等多信任边界暴露，可结合参考模型尾部似然的新复合指标检测被微调塑造的关键专家。
来源：arXiv · AI · arxiv.org