arXiv · NLP· Ruichen Zheng, Yihe Wang, Fabrice Harel-Canada, Sara Khosravi, Zeynep Senahan Yildiz, Amit Sahai, Nanyun Peng·· 11 天前AI 评分28
推理能力是否提升大语言模型的心理学深度?研究对比 DeepSeek-R1 与 GPT-5
Does Reasoning Improve Psychological Depth in Large Language Models?
AI 导读
一项针对 60 组盲评的研究表明,推理增强并未普遍提升大语言模型的心理学深度。人类评估显示 DeepSeek-R1 落后于 DeepSeek-V3(42.9%),而 GPT-5 仅微弱优于 GPT-4o(60.0% 至 62.9%)。LLM 评审则表现出强烈的推理偏向,在 98.3% 的配对中支持推理模型。
来源:arXiv · NLP · arxiv.org