arXiv · NLP· Yuyi Zhang, Boyu Tang, Tianjie Ju, Sufeng Duan, Gongshen Liu·· 4 小时前AI 评分37
潜在Token是否在进行推理？对连续思维链的因果与对抗分析
Do Latent Tokens Think? A Causal and Adversarial Analysis of Chain-of-Continuous-Thought
AI 导读
研究发现Chain-of-Continuous-Thought（COCONUT）等潜在Token并未编码真实推理，而是作为不可解释的占位符促进捷径使用。 在MMLU和HotpotQA基准测试中，COCONUT模型通过利用数据集偏差和分布外设置中的工件提升分数，而非进行真实推理。
来源：arXiv · NLP · arxiv.org