跳到正文
arXiv · NLP· Cl\'ea Chataigner, Rebecca Ma, Prakhar Ganesh, Yuhao Chen, Afaf Ta\"ik, Elliot Creager, Golnoosh Farnadi·· 2 天前AI 评分25

基于用户视角的自动化释义框架 AUGMENT 审计 LLM

Say It Another Way: Auditing LLMs with a User-Grounded Automated Paraphrasing Framework

AI 导读

研究提出基于用户行为的 AUGMENT 框架,通过控制指令遵循、语义相似性和真实性的检查,生成可靠释义以审计 LLM。 该框架在 BBQ 和 MMLU 数据集上的案例研究证明,受控释义能揭示无约束变异下被掩盖的系统性弱点。

来源:arXiv · NLP · arxiv.org