跳到正文
arXiv · AI· Oleg Grynets, Vasyl Lyashkevych, Andrii Salyk, Dmytro Koziuberda, Dmytro Kostetskyi, Oleh Kaskun, Olena Pochernina, Alona Seletska, Oleksii Ilchuk, Viktoriia Tsymbal, Daryna Tukalo, Bohdan Saukh, Ivan Fedorchuk, Hryhorii Petrenko·· 12 小时前AI 评分20

面向大语言模型的应用特定能力画像方法

Beyond Leaderboards: A Method for Application-Specific Capability Profiling of Large Language Models

AI 导读

提出一种面向应用的大语言模型能力画像方法及容器化测试平台,将Oracle到PostgreSQL迁移、文档问答等场景作为独立扩展单元接入。 测试涵盖Oracle到PostgreSQL迁移、基于文档的聊天机器人等应用,216个迁移单元中仅108个验证正确,显示模型选择对结果影响大于框架选择。 该方法建立应用特定的观测维度而非通用模型排名,服务于工程选型决策。

来源:arXiv · AI · arxiv.org