arXiv · NLP· Liang-Hsun Huang, Min-Yi Chen, Chao-Chun Chuang, Yu-Wei Liu, Che-Yu Wu, Po-Feng Lee·· 2026-10-15AI 评分35
OpenTWBench:面向 LLM 的台湾领域知识评测基准
OpenTWBench (Open Taiwan Benchmark): Taiwan-Domain Knowledge Evaluation for Large Language Models, and How the Measurement Apparatus Shapes the Score
AI 导读
OpenTWBench 推出台湾领域 LLM 评测套件,包含 25.3 万道考题及 1696 道生活常识题。 tw-exam-bench 基于 15 年国考数据,tw-formora-bench 针对现实台湾生活场景。 发现评测工具显著影响分数,更换答案提取方式使准确率从 20.8% 升至 93.9%。
来源:arXiv · NLP · arxiv.org