arXiv · NLP· Arunkumar V, Manoranjan Gandhudi, Gangadharan G. R., Arun Prakash, S. Senthilkumar·· 3 天前AI 评分28
小型语言模型在精确验证器下的学习局限
Procedure without Judgment: What Small Language Models Learn under an Exact Verifier
AI 导读
研究通过精确验证器测试小模型学习推理能力,发现4B模型微调后在特定策略上准确率达92%。 模型仅掌握固定的充分性检查流程,在未见过的策略上虽保持94%充分性但最小性降至48%;强化学习未能提升泛化性。
来源:arXiv · NLP · arxiv.org