arXiv · NLP· Samar Ansari·· 5 小时前AI 评分21
指令微调在语言模型中安装和锐化了数字选择启发式
3, 7, 14, 17, 42: Instruction Tuning Installs and Sharpens Number-Choice Heuristics in Language Models
AI 导读
一项对18个开源权重模型的研究表明，指令微调使模型分配给整数的概率分布变得不那么均匀。 微调模型几乎完全避免了10的倍数，且极少返回端点值1和N，而基座模型则不具备这些特征。 这些数字选择规律与Kubovy和Psotka提出的人类心理账户理论相符，其中包含端点避免和奇数偏好。
来源：arXiv · NLP · arxiv.org