跳到正文
arXiv · AI· Masha Fedzechkina, Eleonora Gualdoni, Rita Ramos, Sinead Williamson·· 2026-10-05AI 评分30

多模态模型 logits 与信息泄漏:基于代表层级的系统性对比

What do your logits know?

AI 导读

研究在视觉语言模型中首次系统对比了不同代表层级的信息保留情况。 通过残差流低维投影与最终 top-k logits 两个瓶颈分析,发现甚至简单的 top logit 值也能泄露任务无关信息,信息量有时等同于直接投影完整残差流。

来源:arXiv · AI · arxiv.org