跳到正文
热点事件持续更新

Token Inoculation方法提出

1 篇报道1 个报道来源2 小时前更新

先了解这件事

AI 综述

2026年10月27日,Seunghyun Lee等人在arXiv上发表论文,提出Token Inoculation方法。该方法在继续预训练阶段为危险句子添加特殊标记token,从而训练模型拒绝回答危险问题。该方法在1.5B至14B参数规模及三种架构家族中验证有效,危险准确率维持在18%附近,同时保留93%的MMLU指令基线性能。 测试时由于标记token不存在,模型不会输出其曾预测的危险答案。研究指出,这种条件化标记方法在安全性与效用平衡上优于遗忘训练和拒绝训练等抑制方法,且在开放式生成和网络安全迁移场景中复现了优势。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月27日
  1. arXiv · NLP
    Token Inoculation:LLM 双用途知识的条件化标记而非抑制

    研究提出 Token Inoculation,在继续预训练时标记危险句子并微调 LLM 拒绝回答危险问题。在 1.5B 至 14B 参数规模中,该模型将危险准确率保持在 18% 附近,同时保留 93% 的 MMLU 指令基线性能。 这种条件化方法优于遗忘和拒绝训练等抑制方法,实现最佳安全与效用平衡,且优势在开放式生成和网络安全迁移中均得到复现。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。