arXiv · NLP· Yiqin Hao, Boyi Zeng, Zitong Wang, He Li, Shixiang Song, Feichen Song, Yifan Liu, Zhouhan Lin·· 4 小时前AI 评分33
P2N: 复用深层表示以增强有效深度
P2N: Reusing Deep Representations for Greater Effective Depth
AI 导读
P2N方法通过复用前一词元的深层表示，在1.5B参数Qwen风格模型上提升GSM8K准确率10个百分点以上。 该方法在解码时仅增加一次向量加法，保持延迟几乎不变，且收益延伸至语言建模及通用下游基准。
来源：arXiv · NLP · arxiv.org