arXiv · NLP· Sunghoon Kim, Sangyeop Kim·· 4 小时前AI 评分24
LLM 视角对齐评测基准 PerspectiveBench 与 PAS 指标发布
Beyond Factual Accuracy: A Benchmark for Evaluating Perspective Alignment in LLMs
AI 导读
研究人员提出 PerspectiveBench 基准及 Perspective Alignment Score (PAS) 指标，用于量化 LLM 的视角对齐能力。 该基准构建多路径并存的场景，实验显示 SOTA 模型虽能包含目标内容，但难以排除非请求视角。 研究发现 RAG 虽改善事实性，却无法解决视角偏移，模型仍优先全面覆盖而非严格约束。代码与数据已开源。
来源：arXiv · NLP · arxiv.org