arXiv · AI· Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim·· 7 天前AI 评分43
随机嵌入注入如何提升 LLM 推理能力
From Noise to Diversity: Random Embedding Injection in LLM Reasoning
AI 导读
随机软提示(RSP)无需训练即可在数学推理基准上达到与优化软提示相当的准确率。 RSP 向量从拟合预训练嵌入表的各向同性高斯分布中采样,通过提升早期 token 多样性结合温度采样拓宽 Pass@N。
来源:arXiv · AI · arxiv.org