arXiv · NLP· Qince Luan, Jianhui Xu, Yang Xu·· 3 小时前AI 评分26
谱平滑与尖峰扰动如何重构大语言模型能力配置与选择性任务表现
Spectral Smoothing and Spiking Perturbations Reconfigure Capability Profiles and Selective Task Performance in Large Language Models
AI 导读
研究团队对 Llama 和 Qwen 指令模型的 up_proj 和 down_proj 矩阵实施谱平滑及尖峰扰动，揭示大奇异值被放大、小奇异值被缩小的效应。 正扰动更可靠地抑制语言与演绎推理响应，适度负扰动有时能提升事实性任务性能，敏感度随模型家族与基准模块显著变化。 谱扰动可作为轻量级干预手段，用于探查 LLM 内部能力的组织方式与权衡机制。
来源：arXiv · NLP · arxiv.org