arXiv · ML· Varun Reddy Nalagatla, Madhavi Evana, Yiwen Zhang·· 9 小时前AI 评分46
BoD：无需训练的原始Transformer维度检测与调控方法
The Signs Were Always There: Training-Free Detection and Control in Raw Transformer Dimensions
AI 导读
研究人员提出Bag of Dims（BoD）方法，利用残差流符号模式在Transformer早期层检测概念，无需训练或标签。该方法在测试模型中实现AUC 0.9+的概念检测，并在前向传播中通过符号翻转调控生成内容。 BoD通过识别各维度符号一致性发现概念，保留56-94%的top-5 token准确率，并支持无训练干预引导指定概念生成文本。
来源：arXiv · ML · arxiv.org