arXiv · AI· Yifan Lan, Yuanpu Cao, Hanyu Wang, Lu Lin, Jinghui Chen·· 1 天前AI 评分38
揭示 LLM 中规避性数据污染的 Zero-CoT 截断方法
The Illusion of Reasoning: Exposing Evasive Data Contamination in LLMs via Zero-CoT Truncation
AI 导读
研究提出 Zero-CoT Probe (ZCP) 黑盒检测法，通过截断 Chain-of-Thought 过程来揭示 LLM 中隐藏的规避性数据污染。 该方法将零 CoT 性能与同构扰动参考数据集对比，并引入 Contamination Confidence 指标量化污染的概率和严重程度。 在已识别及特别微调的污染模型上进行的实验证明，ZCP 能稳健地检测出直接和规避性的数据污染。
来源：arXiv · AI · arxiv.org