arXiv · AI· Jiaqi Gan, Haoyuan Tang, Jamey Z. Liang, Siying Chen, Ankit Raj, Kidus Zewde, Yuchen Zhou, Yuxin Zhang, Simiao Ren·· 24 天前AI 评分36
CallScreenBench 评测小语言模型作为电话秘书的能力
CallScreenBench: Benchmarking Small Language Models as Phone Secretaries
AI 导读
研究发布 CallScreenBench 基准,评测运行在手机上量化至 4-bit 的 0.6-4B 小语言模型作为“电话秘书”的文本对话决策能力。该基准重点评估所有者对代理处理未知来电的认可度,包含五组自动指标及三项警惕性诊断,不定义综合分数。
来源:arXiv · AI · arxiv.org