Annotrace: 一个用于智能体轨迹步骤级标注的工作台

Annotrace 是一款用于 LLM 智能体轨迹步骤级标注的工作台，支持 6 种轨迹格式并生成嵌套步骤列表。 通过联合人机标注流程，两个模型对相同轨迹的标注一致率达 91%（$\kappa = 0.82$），并在多智能体问答语料库中精确复现了 235 个标注单位。 该工具解决了现有可观测性平台缺乏结构化标注、人工标注效率低的问题，正在 AAAI 2027 示范程序评审中。