如何利用去词法（Delexicalization）解决小数据量下的定制内容审查模型微调难题

在仅有约500条样本的微调场景中，使用去词法将具体国家、组织名替换为COUNTRY、ORGANIZATION等固定token，显著提升了小模型在自定义内容审查类别上的泛化能力。 方法通过维护简单哈希表进行模糊匹配替换，解决了模型命名实体识别（NER）较弱导致漏检地区缩写（如KSA）或新机构的问题。 去词法有效降低了小样本微调对特定实体名称的依赖，提升了定制安全模型在稀疏数据下的鲁棒性。