arXiv · ML· Shourik Banerjee, Ethan Mendes, Mohit Raghavendra, Wei Xu, Alan Ritter·· 7 天前AI 评分38
固定预算下,人类或合成偏好数据对大模型后训练的影响对比
Human or Synthetic? What a Fixed Budget Buys for Post-Training
AI 导读
研究发现,在固定预算下,合成数据在中低预算区间比人类标注数据更具成本效益,$200-$400即可实现高胜率。 人类数据在helpfulness任务上需约大两个数量级的预算才能追平差距,且在summarization任务上始终未追上;部分人类数据来源表现较差,去重也无法弥补差距。
来源:arXiv · ML · arxiv.org