arXiv · ML· Ambroise Odonnat, Theo Gnassounou, Laetitia Chapel, Romain Tavenard, Ievgen Redko·· 10 天前AI 评分45
逐层逐模块探查 Transformer 表征
Probing Transformer Representations Layer by Layer, Module by Module
AI 导读
针对 Transformer 基础模型表征探查仅关注最终层的问题,研究通过 144,000 次线性探查评估,发现最优层与模块联合选择能显著提升特征质量。 研究提出视觉模型采用 Act@100、语言模型采用 LN2@60 的固定策略,分别恢复最优探查收益的 42% 和 86%。 该策略在多数评估中优于基线,且视觉模型收益随迁移难度增加而提升。
来源:arXiv · ML · arxiv.org