跳到正文
arXiv · NLP· Arunkumar V, Manoranjan Gandhudi, Gangadharan G. R., Arun Prakash, S. Senthilkumar·· 3 天前AI 评分28

小型语言模型在精确验证器下的学习局限

Procedure without Judgment: What Small Language Models Learn under an Exact Verifier

AI 导读

研究通过精确验证器测试小模型学习推理能力,发现4B模型微调后在特定策略上准确率达92%。 模型仅掌握固定的充分性检查流程,在未见过的策略上虽保持94%充分性但最小性降至48%;强化学习未能提升泛化性。

来源:arXiv · NLP · arxiv.org