跳到正文
arXiv · NLP· Jorge Valverde-Rebaza, Nathan Garcia-Larios, Karime Ruvalcaba-Perez, Alejandro Rendon, Santiago Sanchez-Ballesteros, Alejandro Martin del Campo·· 3 天前AI 评分22

LLM 在西班牙语政治话语文化推理与鲁棒性中的评估

Evaluating Cultural Reasoning and Robustness in LLMs for Spanish Political Discourse

AI 导读

该研究提出一种结合 Gold、Ambiguous 及 Synthetic 子集的评估协议,用于测试 LLM 在西班牙语政治社交媒体情感分析中的鲁棒性。 通过零样本与少样本提示对比专有与开源模型,发现 GPT-4.1-mini 最为稳定,小型开源模型在情感反转扰动下表现显著退化,且少样本提示增益有限。

来源:arXiv · NLP · arxiv.org