跳到正文
arXiv · NLP· Yuwei Cheng, Weiyi Tian, Haifeng Xu·· 11 天前AI 评分28

微调语言模型的信息传递机制:Canopy Entropy 分析

Fine-Tuned Language Models Exhibit Improved Information Conveyance

AI 导读

研究提出树视角的 Canopy Entropy (CE*) 指标,指出微调并非单纯降低不确定性,而是重组生成空间。CE* 联合捕获输出长度与序列熵,等于总 Shannon 熵。 控制变量后,微调使熵率与语义多样性的相关性增强近 3 倍。这意味着对齐模型能更高效地将 token 不确定性转化为语义多样性。

来源:arXiv · NLP · arxiv.org