跳到正文
arXiv · NLP· Houman Mehrafarin, Ioannis Konstas·· 13 小时前AI 评分32

CoT 隐藏状态揭示直接回答的任务解决方向

Chain-of-Thought Hidden States Reveal Task-Solving Directions for Direct Answers

AI 导读

研究发现,直接提示词表示空间中每个问题存在能更常导向正确答案的方向。 在 LLaMA 3.1 8B 和 Qwen 2.5 7B 模型上,这些方向将直接提示平均准确率分别提升至 85% 和 86%,token 消耗仅为 CoT 的十分之一。 这些方向可用于未来训练模型对齐其状态,实现更高效推理。

来源:arXiv · NLP · arxiv.org