arXiv · AI· Chenxiao Yu, Bowen Yi, Farzan Karimi-Malekabadi, Suhaib Abdurahman, Jinyi Ye, Shrikanth Narayanan, Yue Zhao, Morteza Dehghani·· 9 天前AI 评分34
大语言模型中道德基础的机制追踪
Tracing Moral Foundations in Large Language Models
AI 导读
研究人员利用道德基础理论分析14个基于7B至70B参数的Llama、Qwen2.5、Mistral等模型,发现模型内部的道德几何结构在预训练中自然涌现。 借助稀疏自编码器(SAE)识别特定特征并进行因果干预,证实了内部表示与道德输出间的因果联系,表明多元道德结构可从语言统计规律中浮现。
来源:arXiv · AI · arxiv.org