arXiv · NLP· Zhixiang Wang, Ulas Bagci·· 10 天前AI 评分36
语言模型能力在压缩与扰动下按可预测的共享顺序失效
Language model capabilities fail in a shared, predictable order under compression and perturbation
AI 导读
压缩与扰动通常使大语言模型能力按跨方法共享、可预测的顺序失效,而非随机或方法特定模式。 八种指令微调模型在四种随机扰动下短答案能力失效顺序的中位相关达 0.90;剪枝与量化下为 0.875,且可由回答裕量、频率和格式预测。 随机扰动测得的脆弱性画像预测了压缩先移除哪些任务和事实;经四任务校准后,对留出任务精度的中位绝对误差为 0.11-0.12,优于均匀下降的 0.20-0.21。
来源:arXiv · NLP · arxiv.org