跳到正文
arXiv · NLP· Nishita Jain, Parth Upman, Shreyank N Gowda·· 5 小时前AI 评分33

BPE 分词器如何揭示训练语料成员身份

Tokenizer Tokens Tell Training Tales

AI 导读

研究发现 BPE 分词器可识别候选数据集是否属于训练语料。 该方法基于 BPE 阈值模型,利用背景中稀有但在候选集高频出现的 token 作为成员信号。 提出的 RTAM-Fusion 结合影子分词器跨稀有度级别校准,在基准测试中优于词汇重叠方法并减少所需分词器数量,且现有防御手段在自适应攻击下仍会泄露信号。

来源:arXiv · NLP · arxiv.org