跳到正文
arXiv · AI· Hugh Van Deventer, Dmitrii Troitskii, Laura Ruis·· 2 小时前AI 评分42

链式思维可控性:开头少数字符的影响

The First Few Tokens Matter: Understanding Chain-of-Thought Controllability

AI 导读

研究发现,链式思维(CoT)可控性受限于思维标签后前几个字符的熵坍缩。 通过预填充和禁用高频起始字符两种推理时干预,模型平均合规率提升了34-41个百分点。 研究指出,信息添加与风格控制更易监测,而抑制控制响应多样,二者受不同底层机制影响。

来源:arXiv · AI · arxiv.org