利用校准概率与部分评分改进 RLHF 策略的建议

提出一种通过让模型评估任务可行性概率而非二元判断的 RLHF 改进策略，旨在减少模型幻觉与奖励攻击。 评分机制包含部分答案得分、对不可能任务做出正确概率校准及推理过程奖励，并由第三方 LLM 在 RLHF 完成后进行再评估。 该方案通过识别误标记任务建立价值对齐，为后续开发更强的诚实模型提供可验证的训练路径。