arXiv · AI· Qingyun Zou, Feng Yu, Hongshi Tan, Jiahao Cui, Bingsheng He, WengFai Wong·· 3 天前AI 评分39
智能体AI是否胜任硬件工程?基于Phoenix-bench的深入分析
Is Agentic AI Ready for Real-World Hardware Engineering? A Deep Dive with Phoenix-bench
AI 导读
研究提出Phoenix-bench基准,通过511个Verilator实例评估智能体AI在硬件工程中的表现。 结果显示,智能体在SWE-bench Verified与Phoenix-bench间性能下降37%-58%,失败集中在FSM及跨层级信号流追踪。 定位粒度比定位本身更重要,测试反馈使解决率提升42%-45%。
来源:arXiv · AI · arxiv.org