arXiv · AI· Hugh Van Deventer, Dmitrii Troitskii, Laura Ruis·· 2 小时前AI 评分42
链式思维可控性:开头少数字符的影响
The First Few Tokens Matter: Understanding Chain-of-Thought Controllability
AI 导读
研究发现,链式思维(CoT)可控性受限于思维标签后前几个字符的熵坍缩。 通过预填充和禁用高频起始字符两种推理时干预,模型平均合规率提升了34-41个百分点。 研究指出,信息添加与风格控制更易监测,而抑制控制响应多样,二者受不同底层机制影响。
来源:arXiv · AI · arxiv.org