arXiv · AI· Hua Yang, Aditya Bhardwaj, Shidong Pan, Bowen Xu·· 4 天前AI 评分38
PrivacyPR:隐私感知代码审查基准数据集
PrivacyPR: A Dataset of Real-World Privacy Fixes for Benchmarking Privacy-Aware Code Review
AI 导读
发布包含 4,131 个 GitHub PR 的数据集 PrivacyPR,提供 1,169 个高置信度隐私修复及 250 条人工验证样本。 在 Small 子集上,编码智能体在通用提示下仅检测出 42%-51% 缺陷,而在明确隐私审查指令下检测率达 88%-91%。 结果表明缺陷检测依赖审查意图,且伴随 11%-15% 的误报,数据与代码已公开。
来源:arXiv · AI · arxiv.org