arXiv · NLP· George Ling, Shanshan Zhong, Lijin Yang, Hao Yang, Nanxiang Li, Zhongzhan Huang·· 21 小时前AI 评分21
BestRand：稳定且低成本的基准压缩方法
Random Is Almost Enough? Stable and Low-Cost Benchmark Compression via BestRand
AI 导读
该研究提出 BestRand，通过随机采样降低模型评测成本，平均将高误差风险降低 50.2%，估算误差降低 16.4%。 方法在 70+ 文本、多模态及智能体基准上验证，OOD 估算误差平均降低 21.8%，且仅需 51.3% 的构建成本。 随机采样虽高效但存在罕见大误差，BestRand 在保留效率的同时显著减少高误差尾部风险，代码与数据已公开。
来源：arXiv · NLP · arxiv.org