arXiv · NLP· Sinan G. Aksoy, Alexandra A. Sabrio, Erik VonKaenel, Lee Burke·· 3 小时前AI 评分30
LLM 文档相似度评分敏感性测试：语义“大海捞针”实验框架
Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring
AI 导读
研究提出可扩展实验框架，通过“语义大海捞针”方法探测 LLM 对细微语义变化的敏感性，测试了 7 个模型在数万对文档上的表现。 框架揭示 LLM 存在独特的位置偏差，且模型对否定等扰动类型的惩罚尺度差异显著。 该框架为审计和比较当前及未来模型的评分行为提供了实用工具。
来源：arXiv · NLP · arxiv.org