arXiv · ML· Uwe K\"onig, Hamza Kazmi, Ruizhe Li, Maheep Chaudhary·· 7 天前AI 评分31
量化语言模型蒸馏中的无意识行为迁移比例
Quantifying Subliminal Behavioral Transfer Ratios in Language Model Distillation
AI 导读
该研究通过引导 Llama-2-7B-Chat 和 Qwen2.5-7B-Instruct 并仅使用良性数据进行蒸馏,量化了无意识行为迁移比例。在 100 条 JailbreakBench 提示词上由 GPT-4.1 评估,结果显示 Llama-2 存在锐利阈值,而 Qwen2.5 表现为连续且高达 0.61 的迁移水平。 这项研究为理解教师模型向学生模型传递潜在不良行为提供了系统性的量化证据。
来源:arXiv · ML · arxiv.org