跳到正文
arXiv · NLP· Laya Iyer, Sanmi Koyejo, Chen Shani·· 11 天前AI 评分28

LLM 内部表征中情绪信息的过度压缩

Compression of Emotion in Language Model Representations

AI 导读

研究发现,7 个大语言模型在 GoEmotions 数据集上的隐藏表征呈现情绪过度压缩现象。 KMeans 聚类显示未标记表征主要分离为 2 组正负情绪,较粗粒度分组比 28 类全 taxonomy 所需簇数更少。 线性探针仍保留细粒度预测信息,表明细粒度情绪信息虽未主导无监督几何结构但依然可访问。

来源:arXiv · NLP · arxiv.org