arXiv · AI· Joon Ha Kim, Geon-Woo Kim, Anoop Rachakonda, Daehyeok Kim·2026-10-22 12:00· 16 小时前AI 评分36

Dooly：面向 LLM 推理仿真的配置无关且冗余感知剖析工具

Dooly: Configuration-Agnostic, Redundancy-Aware Profiling for LLM Inference Simulation

AI 导读

开源工具 Dooly 实现了配置无关的 LLM 推理仿真剖析，在 12 个模型上将剖析 GPU 时数降低 56.4%。它通过单次推理路径和污点传播标记维度来源，仅剖析缺失操作，利用现有仿真器初始化代码隔离状态操作。仿真精度上，TTFT 的 MAPE 在 5% 以内，TPOT 在 8% 以内。

来源：arXiv · AI · arxiv.org