arXiv · NLP· Wei-Lin Chen, Zhepei Wei, Xinyu Zhu, Yu-Min Tseng, Tzu-Han Lin, Yu Meng·· 8 小时前AI 评分43
VeriHarm-Bench：LLM 编码智能体有害成功率的自动可验证评测框架
VeriHarm-Bench: Measuring Harmful Success in LLM Coding Agents Verifiably
AI 导读
研究团队推出 VeriHarm 框架及 VeriHarm-Bench，用于自动验证 LLM 编码智能体在完成任务时是否造成意外危害。该基准通过最小化扰动任务诱导有害行为，并合成可执行测试同步评估任务准确率与安全结果。
来源：arXiv · NLP · arxiv.org