文本分类中嵌入模型加逻辑回归优于大语言模型

在banking77客户意图分类任务上，冻结嵌入模型BGE-large加逻辑回归头以94.3%准确率、118ms延迟和$0单次成本，显著优于最佳本地LLM phi4的68%准确率与15.4s延迟。作者指出LLM在77类细粒度语义区分上易受标签名称局限且输出不稳定，而训练后的分类器直接学习嵌入空间边界；该方法可在CPU上通过本地ONNX运行，并支持数百样本快速训练自定义分类器。