跳到正文
arXiv · ML· Pranava Sai Maganti, Meghasyam Peddireddy, Muzakker Hossain, Kaining Gao, Farhan Ahmed, Ali Jannesari·· 7 天前AI 评分37

MLIRBench 构建编译器与硬件感知推理基准及数据集

MLIRBench - A Benchmark and Dataset for Compiler and Hardware-Aware Reasoning

AI 导读

提出基准 MLIRBench,包含 1,768 个经执行验证的 torch 与 linalg 程序变异对,评估 9 个 LLM 的语义推理能力。 Gemini 3.1 Pro 在 1,768 对测试中取得 92.65% 的硬标签准确率及 5.04/10 的行为评分,结果显示语义分类能力与详细执行行为预测间存在差距。

来源:arXiv · ML · arxiv.org