arXiv · AI· Tomer Galanti, Josh Susskind, Eran Malach·· 2026-10-14AI 评分45
更少比特,更多尝试:在内存约束下恢复大模型能力
Fewer Bits, More Tries: Recovering Capability Under Memory Constraints
AI 导读
通过并行生成多次候选输出并使用公开或模型生成的测试进行筛选,小模型或压缩模型可恢复部分因尺寸缩小而损失的能力。 在四个代码生成基准测试中,使用7B Qwen模型进行8次并行尝试,在MBPP+上基本匹配32B模型,并在另外三个基准上超越后者。 该方法在Nvidia GPU上约节省4倍模型内存,运行速度最快提升6倍,且能耗更低。
来源:arXiv · AI · arxiv.org