arXiv · ML· Chenyu Zhu, Ruoyu Zhao, Zhichao Lu·· 4 小时前AI 评分31
ResNSC：基于Transformer 残差上下文的光谱容量异构资源分配
Neural Spectral Capacity with Residual Context for Heterogeneous Resource Allocation within Transformers
AI 导读
研究提出 ResNSC 及其分配器 ResNSC-DP，用于 Transformer 异构资源分配。该方法结合残差历史优化残差与前馈宽度，在指定候选集内提供最优分数界限。在 121M 和 374M 预训练规模及 LLaMA-7B 剪枝任务中，其平均困惑度和八项任务准确率均优于统一宽度或 NSC 方法。
来源：arXiv · ML · arxiv.org