arXiv · NLP· Pranjal Srivastava·· 11 天前AI 评分25
GPT-2 自训练中的有序 Rényi 熵交叉:丰富度不等于均匀度
Richness Is Not Evenness: Ordered Renyi Crossings under Self-Training
AI 导读
递归自训练使英语 GPT-2 词汇量减少但常用虚词主导性降低。在 9 代训练中,随着采样温度升高,最小熵、碰撞熵、Shannon 熵和观察丰富度依次发生从损耗到增益的交叉。第 9 代词汇类型减少 24%,但碰撞熵高出 0.91 bits。研究建议在固定预算下报告熵轮廓及独立质量指标。
来源:arXiv · NLP · arxiv.org