Beyond Prompt and Parser Engineering: Soft-Prompt Tuning for Automated LLM Evaluation

提出基于软提示调优的自动化LLM评测方法，通过优化7B模型仅0.0006%的参数（10个软提示向量），在150步内饱和格式遵循能力并保持知识准确性。 在7个模型和11个数据集上验证，该方法无需手动设计提示词或解析器即可匹配强评测基线，且提升了长上下文及不同输出风格场景下的评测信号质量，使精确匹配与独立LLM评判一致性更高。 该方法提供了一种轻量、自动化且灵活的LLM知识评测协议。