arXiv · NLP· Danica Dillion, Chen Cecilia Liu, Baihui Wang, Daniele Barolo, Tanmay Rajore, Niket Tandon, Pranathi Ravikumar, Kurt Gray·· 10 天前AI 评分25
LLMs 通过优化提示词更好地捕捉人类判断
LLMs Can Better Capture Human Judgments--With the Right Prompts
AI 导读
研究发现 LLMs 在捕捉人类判断上存在局限,但简单的提示策略能显著缓解这些问题,提升 AI-人类对齐度。 研究在 144 个道德场景和 38 条道德信念数据集上验证,让模型报告标准差和响应比例比常用策略能更好地恢复人类响应的完整范围。 结果还表明,模型对清晰场景的追踪能力与人类混淆评分相关,而模型置信度评分能较好预测人类变异性。
来源:arXiv · NLP · arxiv.org