arXiv · NLP· Marek \v{S}uppa, Jaroslav Kop\v{c}an·· 21 小时前AI 评分27
XDecideBench：评估跨语言类型化决策模型与置信度策略
XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages
AI 导读
XDecideBench 推出包含 122 种语言、88,425 段文本及 153,875 道题目评测基准。 经微调的开源模型在 12 种开发语言上全面超越其基座 Qwen 模型；Qwen 本地运行时，数据最少的 4 种语言中准确率增益显著高于数据丰富的 6 种语言，但微调修复错误比例两者相似。 基于英语数据设定的 5% 错误率置信度阈值，在 XNLI 的德语和法语中均导致实际错误率超标。
来源：arXiv · NLP · arxiv.org