谷歌等团队发布 T2J-Bench 基准

谷歌 Cloud AI Research、伊利诺伊大学厄巴纳香槟分校、南加州大学、圣母大学及 DeepMind 等团队联合发布 T2J-Bench 基准。该基准包含 63 个整仓迁移任务，专门用于检验 Coding Agent 在将 PyTorch 仓库迁移至 JAX 时，训练与推理行为是否保持对齐。 团队同时设计了 TwinHarness 流程，让 Agent 利用可运行的原始仓库，逐轮定位、修复并验证行为差异。研究共评估了五种 Agent harness 及其支持的模型，涵盖了 20 组现成配置，以全面衡量迁移效果。 在实验环境中，候选代码在隔离、离线且无 PyTorch 的环境中执行，并与提前从原始 PyTorch 实现记录的参考结果进行比较。研究指出，结果体现了质量与成本的取舍，且限于 T2J-Bench 匹配配置，不能推断其对未知任务的泛化能力。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。