跳到正文
arXiv · NLP· Pranjal Srivastava·· 11 天前AI 评分25

GPT-2 自训练中的有序 Rényi 熵交叉:丰富度不等于均匀度

Richness Is Not Evenness: Ordered Renyi Crossings under Self-Training

AI 导读

递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。

来源:arXiv · NLP · arxiv.org