arXiv · NLP· Tardelli Ronan Coelho Stekel·· 3 小时前AI 评分30
17M至1B参数紧凑型编码器：封闭集决策中联合或逐选项编码的对比
Joint or Per-Option? Compact Encoders for Closed-Set Decisions from 17 Million to 1 Billion Parameters
AI 导读
在32M参数规模下，逐选项评分比联合评分高5.8个机会校正技能分；从原始编码器出发，两者无法区分优势来源。 6个已发布的联合编码器（17M至1B参数）中，68M和150M模型在209个System1-Arena任务上分别比435M DeBERTa-v3零样本分类器高4.9和5.9点；145个未见任务上至少持平。
来源：arXiv · NLP · arxiv.org