热点事件持续更新

开源工具 Dooly 实现 LLM 推理仿真剖析

1 篇报道1 个报道来源16 小时前更新

先了解这件事

AI 综述

arXiv 新论文指出，Joon Ha Kim 等人开发并开源了 Dooly 配置文件无关的 LLM 推理仿真剖析工具。该工具旨在解决现有方法需针对不同配置文件重复剖析的问题，实现了配置无关的仿真剖析能力。在技术实现上，Dooly 采用单次推理路径结合污点传播标记维度来源，通过仅剖析缺失操作并利用现有仿真器隔离状态操作来优化流程。其核心功能是在两个 GPU 平台和三种注意力后端架构下实现模型推理仿真。实测数据显示，Dooly 在 12 个模型上使剖析所需 GPU 时数相比现有方法降低了 56.4%。精度方面，TTFT 的 MAPE 保持在 5% 以内，TPOT 的 MAPE 控制在 8% 以内。

AI 根据报道生成 · 11 小时前更新

最新进展10月22日 12:00

Dooly：面向 LLM 推理仿真的配置无关且冗余感知剖析工具

报道时间线

沿着报道，了解事件的不同侧面。

10月22日

12:00
arXiv · AI
Dooly：面向 LLM 推理仿真的配置无关且冗余感知剖析工具
开源工具 Dooly 实现了配置无关的 LLM 推理仿真剖析，在 12 个模型上将剖析 GPU 时数降低 56.4%。它通过单次推理路径和污点传播标记维度来源，仅剖析缺失操作，利用现有仿真器初始化代码隔离状态操作。仿真精度上，TTFT 的 MAPE 在 5% 以内，TPOT 在 8% 以内。

本事件热度走势

可比范围当前: 7
可比范围峰值: 910月22日 17:00
近 24 小时变化: –

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。