跳到正文
arXiv · AI· Ritvik Rastogi·· 7 天前AI 评分31

Jev 与 Qwen3 小型有类型决策模型受控研究

Small Heads, Strong Decisions: A Controlled Study of Typed-Decision Models

AI 导读

在 Qwen3-0.6B 上,五种决策头读出均达 81.3%–82.0% 域内准确率,且 0.5M 参数余弦头推理速度为 27M 联合模式头的一半。 骨干模型规模影响大于头部设计:Qwen3-4B 相比 0.6B 提升 4 分域内准确率和 11 分保留源准确率。 建议将算力投入骨干模型而非复杂决策头。

来源:arXiv · AI · arxiv.org