arXiv · NLP· Jeremias Ferrao, Niclas M\"uller-Hof, Iustin S\^irbu, Traian Rebedea, Yftah Ziser·· 8 小时前AI 评分26
意图感知训练通过 AIMS 数据集提升 LLM 安全分类性能
Paved with True Intents: Intent-Aware Training Improves LLM Safety Classification Across Training Regimes
AI 导读
研究人员提出将用户意图显式纳入 LLM 安全分类模型,并构建包含 1,724 条难例的 AIMS 数据集以验证该方案。 该策略在多种训练机制中表现优异,其中使用 GRPO 直接奖励意图忠实度在 5 个外部基准测试中取得了最强的平均性能,且形成了推理延迟-F1 的 Pareto 前沿。 这表明忠实建模意图是提升安全分类器鲁棒性的紧凑高质量监督信号。
来源:arXiv · NLP · arxiv.org