arXiv · ML· Manohar Vellala, Soumya Banerjee, Sandip Roy, Ross Gore, Sachin Shetty·· 8 小时前AI 评分35
HardEval：执行验证的 AI 驱动安全加固与合规修复基准
HardEval: An Execution-Verified Benchmark for AI-Driven Security Hardening and Compliance Remediation
AI 导读
发布 HardEval 基准，用于评估大语言模型在实时操作系统上的安全加固能力。该基准基于 Red Hat Enterprise Linux 8 STIG 控制项，通过执行 Bash 脚本并运行 OVAL 检查进行评分。测试显示不同模型在安全域的能力差异巨大，且主要失败模式为生成看似合理但不满足精确合规条件的代码。
来源：arXiv · ML · arxiv.org