arXiv · NLP· Weronika {\L}ajewska, Paul Missault, George Davidson, Saab Mansour·· 8 小时前AI 评分24
RADIUS：用于调查模拟的综合对齐评估套件
RADIUS: Ranking, Distribution, and Significance - A Comprehensive Alignment Suite for Survey Simulation
AI 导读
研究人员提出RADIUS套件，用于评估大语言模型在模拟调查时的对齐度，涵盖排名、分布及统计显著性三个维度。 该套件通过实验揭示了单一指标的局限，能发现分布改进但错误识别人类首选选项的情况。 RADIUS已开源，旨在支持调查模拟器的可复现和可比性评估。
来源：arXiv · NLP · arxiv.org