arXiv · AI· Abdellah Rahmani, Sean McLeish, Ang Li, Sanae Lotfi, Pascal Frossard, Micah Goldblum·· 7 小时前AI 评分32
Library of Layers (LoL):推理时动态排序 Transformer 层
Library of Layers (LoL): Adaptively Ordering Transformer Layers at Runtime
AI 导读
提出 Library of Layers (LoL) 架构,推理时动态排序 Transformer 层,实现参数复用与稀疏性的统一。 单超参数控制全局层库大小,在文本预训练中性能媲美 Dense、循环及 MoE 基线。 证明模型可通过层序执行不同策略,路由探针可高 AUROC 区分安全与不安全文本。
来源:arXiv · AI · arxiv.org