arXiv · NLP· Yiwen Yang, Guanming Liu·· 15 天前AI 评分21
ProcessPrefBench:评估自然交互中个体流程偏好的跨任务迁移
ProcessPrefBench: Evaluating Cross-Task Transfer of Individual Process Preferences from Naturalistic Human-AI Interaction
AI 导读
ProcessPrefBench 基于 66 个源-目标案例,测试自然交互中流程偏好的跨任务迁移。 采用全历史或蒸馏提示词,偏好实现分数较目标专用提示词分别提升 0.204 和 0.244 点;但捏造证据失败率从 5.8% 升至 10.1% 至 10.4%。 该基准揭示了利用历史交互提升偏好对齐与增加事实幻觉风险之间的张力。
来源:arXiv · NLP · arxiv.org