arXiv · NLP· Andrii Tuzhykov·· 2026-10-21AI 评分38
SITO: 商业文本安全API对英语、乌克兰语及混合语中漏检与误报的筛选评估
SITO: Sifting a Commercial Text-Safety API for Missed Harm and False Flags in English, Ukrainian and Surzhyk
AI 导读
研究发布SITO基准,评估Tuteliq Detect API在2,332个合成用例中检测六类危害的表现。英语文本有害案例召回率达84.9-94.1%,无害误报率为0-4.3%;第三方报告漏检率显著高于施害者直接消息。乌克兰语检测频率不低于英语,但跨生成器召回率较低,建议平台自行测量误报率。
来源:arXiv · NLP · arxiv.org