arXiv · AI· Laya Iyer, Chen Shani·· 16 小时前AI 评分26
LLM 后训练中词性对概念增强效果的影响
Every Part Has Its Role: Part-of-Speech Effects in LLM Post-Training
AI 导读
研究发现词性（POS）显著影响 LLM 概念增强的效果：新闻语料中增强的困惑度改善与 POS 无关，而动词提供最高可靠性下游增益。 尽管下游增益最大的条件未必最能改变模型内部表征，分析显示 CKA 和线性探针结果揭示了训练信息引入位置与方式的关键作用。
来源：arXiv · AI · arxiv.org