LLM 稀疏奖励子系统：价值神经元与多巴胺神经元如何编码奖励信息

研究发现 LLM 隐藏状态中奖励信息集中于稀疏神经元子集，形成价值神经元（预测状态价值）和多巴胺神经元（编码时序差分误差）两类单元。该子系统具有跨数据集和模型的鲁棒性与可迁移性，因果证据证实其编码奖励相关信息。价值神经元可作为模型置信度预测器，多巴胺神经元能作为过程奖励模型（PRM）引导推理时搜索。