跳到正文
arXiv · NLP· Tobias Deu{\ss}er, Rajkumar Ramamurthy, Lorenz Sparrenberg, Rafet Sifa·· 21 天前AI 评分21

TypeSafe AI 的“系统一”模型 Jev 在 37 项基准上的零样本评测与基准测试

Evaluating and Benchmarking the System One Model Jev

AI 导读

TypeSafe AI 的商业“系统一”模型 Jev 在 37 个数据集上完成零样本评测,以低于 10 美元的总成本处理了 346,009 个请求。 Jev 在 IMDB、SST-2、HellaSwag 和 ARC 等任务上达到 95-99% 的准确率,优于 37 项测试中的 Qwen3.8-27B 和 Gemma-4-E4B,且概率校准良好。

来源:arXiv · NLP · arxiv.org