arXiv · NLP· Cl\'ea Chataigner, Rebecca Ma, Prakhar Ganesh, Yuhao Chen, Afaf Ta\"ik, Elliot Creager, Golnoosh Farnadi·· 2 天前AI 评分25
基于用户视角的自动化释义框架 AUGMENT 审计 LLM
Say It Another Way: Auditing LLMs with a User-Grounded Automated Paraphrasing Framework
AI 导读
研究提出基于用户行为的 AUGMENT 框架,通过控制指令遵循、语义相似性和真实性的检查,生成可靠释义以审计 LLM。 该框架在 BBQ 和 MMLU 数据集上的案例研究证明,受控释义能揭示无约束变异下被掩盖的系统性弱点。
来源:arXiv · NLP · arxiv.org