跳到正文
arXiv · AI· Allen G. Roush, Minh Nhat Nguyen, Ravid Shwartz-Ziv, Judah Goldfeder, Sanjay Basu·· 2 天前AI 评分56

论文提出高温下 long-context 生成受限于采样器,top-nsigma 显著提升性能

Long-Context Generation Is a Sampling Problem (When You Turn Up the Heat)

AI 导读

论文指出高温下 long-context 生成受限于采样器,测试 29 个开源模型后发现 top-nsigma 采样器能保持候选词池稳定,避免性能崩塌。在 temperature 2 下,top-p 和 top-k 采样器在 SWE-bench Verified 上解决 0/100 个 GitHub 问题,而 top-nsigma 解决 46 至 62 个。

来源:arXiv · AI · arxiv.org