arXiv · NLP· Prabhjot Singh, Praney Goyal, Raksha Sharma·· 10 天前AI 评分28
逐层研究:风格重写如何破坏零样本LLM假新闻检测器的校准
A Layer-wise Study of How Style Rewriting Breaks the Calibration of Zero-Shot LLM Fake-News Detectors
AI 导读
研究发现,仅改变文章写作风格而不改变事实,会显著破坏LLM检测假新闻时的校准。 在LLaMA-3-8B等三个模型中,面对最强风格攻击,模型准确率降至随机猜测以下,但置信度未降低,表现为“自信地犯错”;讽刺性风格是主要破坏因素。 这意味着LLM对真实性的置信度无法作为安全信号,若文章风格可能被操纵。
来源:arXiv · NLP · arxiv.org