跳到正文
arXiv · NLP· Tao Feng, Jiefeng Chen, Linxin Song, Yufan Zhuang, Yue Huang, Bhavana Dalvi Mishra, Chi Wang, Xiangru Tang, Jieyu Zhao, Ge Liu, Tomas Pfister, Jinsung Yoon·· 2026-10-15AI 评分37

T2J-BENCH 评测编码智能体在 PyTorch 到 JAX 仓库迁移中的表现

T2J-BENCH: Benchmarking Coding Agents on Execution-Grounded PyTorch-to-JAX Repository Migration

AI 导读

T2J-BENCH 包含 63 个 PyTorch 转 JAX 迁移任务,要求检查点转换且执行环境禁用 torch。 20 种配置中最高仅获 0.676 分(满分 1.0),远低于 0.980 的理论上限。 TWINHARNESS 工具将该分数提升至 0.723,证明现有编码智能体尚难胜任跨范式迁移。

来源:arXiv · NLP · arxiv.org