arXiv · NLP· Donghao Zeng (Mila, McGill University), Nishant Subramani (Carnegie Mellon University), Tamar Rott Shaham (MIT CSAIL), Benno Krojer (Mila, McGill University, Northeastern University)·· 5 小时前AI 评分26
跨模态导向向量在图像与文本生成中均存在
Cross-modal Steering Vectors Exist Across Both Image and Text Generation
AI 导读
研究揭示统一多模态模型中跨模态导向向量的存在及其零样本迁移能力。 导向向量可在文本与图像模态间双向零样本迁移以控制情感、物体大小等概念，甚至对模态特有概念产生一致可解释效应。 这些发现阐明了视觉与语言在模型内部的交互机制，为模态无关的行为控制方法提供方向。
来源：arXiv · NLP · arxiv.org