紧凑型编码器在封闭集决策中的评分模式对比研究

2026年10月22日，Tardelli发布arXiv论文，研究17M至1B参数紧凑型编码器在封闭集决策中的表现。该研究对比了联合评分与逐选项评分两种编码模式，发现两者优势来源在原始编码器层面无法区分。 在32M参数规模测试中，逐选项评分比联合评分高出5.8个机会校正技能分。在更广泛的基准测试中，6个已发布的联合编码器里，68M和150M模型在209个System1-Arena任务上，分别比435M DeBERTa-v3零样本分类器高4.9和5.9分。 在泛化性测试方面，这两个中型规模联合模型在145个未见任务上性能至少与基准持平，展现了紧凑型编码器在保持高准确率的同时，对未知任务的适应能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。