arXiv · NLP· Prashanth Vijayaraghavan, Akul Malhotra, Ashutosh Jadhav, Ehsan Degan, Vandana Mukherjee·· 2026-10-06AI 评分23
VHDL-REPOBENCH: 用于评估大语言模型 VHDL 设计生成能力的仓库级基准
VHDL-REPOBENCH: A Repository-Level Benchmark for Evaluating Large Language Models on VHDL Design Generation
AI 导读
研究人员推出大规模 VHDL 设计生成基准 VHDL-REPOBENCH,涵盖约 100 个开源仓库和 2.5k 个文件。 该基准支持跨文件依赖解析和层级推理,通过 GPT-4o 等模型的测试发现当前 LLM 在多文件推理和规格到模块生成方面仍存在显著挑战。 作为首个专注于 VHDL 的大型基准,它为硬件设计社区评估和推进 LLM 实际开发能力提供了重要资源。
来源:arXiv · NLP · arxiv.org