基于条件互信息的大语言模型响应多样性分析

大语言模型在推理生成时提供多种响应，传统上依赖温度参数。本文利用条件互信息方法，给出了基于熵的响应多样性定量分析。 定义了仲裁者、独立（条件）和中性（确定性）三种极限行为，涵盖了从零到最大互信息的范围。 该方法被应用于温度分析、语言分析、提示词压缩和知识图谱。