跳到正文
arXiv · NLP· Shivam Shukla, Jihye Kim, Shubham Gaur, Mahnaz Roshanaei, Magy Seif El-Nasr·· 2026-10-08AI 评分28

RELATE:用于衡量大语言模型关系取向的评估框架

RELATE: An Evaluation Framework for measuring Relational Orientation of Large Language Models

AI 导读

研究人员提出RELATE框架,通过内倾性(IF)与外向支架(OS)两个维度,在句子层面评估大语言模型在情感支持中的关系取向。 该框架基于76种求助情境与3种模拟用户风格生成228个评估刺激,测试7个LLM共1596段对话。 实验发现随着对话进行内倾性语言比例上升,且对犹豫型用户的定向支持显著少于明确型用户,为审计模型关系倾向提供可复现工具。

来源:arXiv · NLP · arxiv.org