arXiv · NLP· Roberto I. Ono Filho·· 4 小时前AI 评分30
基础语言模型中周期性主语切换显著提升判定惊奇度与连接性
Interrupting the Loop: Periodic Subject Changes Raise Judged Surprise and Connection in Base Language Models
AI 导读
研究显示在基础模型生成流中每数百 token 注入新主语,判定惊奇度提升 1.2-1.4 分,连接性提升 0.7-0.9 分。 在线装箱问题中该干预使有效候选启发式数量增加 3-4 倍,但未提升最优解质量。 该干预无法生成连贯文档,且 LLM 判定者存在 600-token 视野局限。
来源:arXiv · NLP · arxiv.org