跳到正文
arXiv · ML· Yusong Zhao, Hengyi Wang, Tanuja Ganu, Akshay Nambi, Hao Wang·· 2026-10-07AI 评分31

SAE++:级联稀疏自编码器在 MLLM 中学习多层级视觉概念

SAE++: Cascaded Sparse Autoencoders Learn Multi-Level Visual Concepts in Multimodal LLMs

AI 导读

提出级联稀疏自编码器 SAE++,通过在一级 SAE 解码器权重上训练二级 SAE,学习 MLLM 的分层视觉概念。 实验在 Qwen3-VL、Gemma-3 和 LLaVA 上验证,SAE++ 在层级概念连贯性上优于 SOTA SAE 基线,并支持概念引导干预。 代码已开源。

来源:arXiv · ML · arxiv.org