arXiv · AI· Jingping Wang, Zhanhao Li, Shao Zhang, Shuyue Hu·· 7 小时前AI 评分36
UPSHIFT: 基于人机交互反馈轨迹的用户偏好引导方法
UPSHIFT: User Preference Steering from Human-AI Interaction Feedback Traces
AI 导读
提出无训练方法UPSHIFT，通过比较初始与反馈响应隐层表示并聚合位移，在不更新模型参数下实现大语言模型个性化。 该方法在PrefEval评测中对40个模拟用户测试，显著提升Qwen3-8B和Qwen3-32B的偏好对齐能力，最佳配置的宏平均Elo分数分别从1364.0升至1605.2、1341.9升至1591.8。
来源：arXiv · AI · arxiv.org