arXiv · NLP· Donghyeok Lee, Sangwon Yu, Sangkwon Park, Hye Youn Park, Munyoung Chang, Sungroh Yoon·· 13 小时前AI 评分48
语言模型中人类脑组织分析方法的迁移与应用
Transferring an analysis of human brain organization to language models
AI 导读
研究发现语言模型推理能力的提升涉及类似人类皮层发育的区域重组,在连续层范围内存在局部变化。 将相关区段权重嫁接到指令微调模型中平均提升了数学推理能力,且随区域重叠度增加而提高。该分析还定位了医疗模型中可迁移的推理相关区域,展示了低干扰下的性能提升。
来源:arXiv · NLP · arxiv.org