arXiv · NLP· Robert Pasternak·· 21 天前AI 评分22
语言模型语义焦点敏感性评估:提示词与 token 概率的证据
Prompts and probabilities in the linguistic assessment of language models: Evidence from semantic focus-sensitivity
AI 导读
研究表明,在评估语言模型语义焦点敏感性时,较大模型的元语言提示性能大幅超越 token 概率方法。实验显示,用随机标记替换标准焦点标记会显著降低 token 概率性能,而提示词结果更稳健。这为语言模型语言能力的评估提供了新方法。
来源:arXiv · NLP · arxiv.org