arXiv · AI· Miao-Miao Yi, Zhen-Yu Cai, Y -M. Du, C. P. Sun·· 9 小时前AI 评分33
AI 知识蒸馏中可靠性-安全性信息论界限与有限对齐动力学
Information-Theoretic Reliability--Safety Bounds and Finite-Alignment Dynamics in AI Knowledge Distillation
AI 导读
论文建立了 AI 可靠性与安全性权衡的信息论界限，揭示了知识蒸馏对该权衡的影响。 通过 Boltzmann 机器模型推导了可靠性与安全性的精确关系，并利用重正化群方法分析了多代蒸馏中的参数重整化、固定点结构及能力丧失与稳定传输间的临界行为。
来源：arXiv · AI · arxiv.org