跳到正文
热点事件持续更新

Annotace: 代理轨迹步骤级标注工作台

1 篇报道1 个报道来源7 小时前更新

先了解这件事

AI 综述

2026年10月19日，研究者发布了名为Annotace的LLM智能体轨迹步骤级标注工作台。该工具支持读取包括OpenTelemetry GenAI、LangSmith和Langfuse在内的6种轨迹格式，能将运行实例转化为有序嵌套步骤列表。其核心机制采用联合人机标注流程，由标注者自写代码本，前沿模型先行作答并回答与人完全相同的问题。数据显示，两个模型对相同轨迹的标注一致率达91%（κ=0.82），并在多智能体问答语料库中精确复现了235个标注单位。该工具旨在解决现有可观测性平台缺乏结构化标注及人工效率低下的问题，目前正参与AAAI 2027示范程序评审。

AI 根据报道生成 · 6 小时前更新

最新进展10月19日 12:00
Annotrace: 一个用于智能体轨迹步骤级标注的工作台

报道时间线

沿着报道，了解事件的不同侧面。

10月19日
  1. arXiv · NLP
    Annotrace: 一个用于智能体轨迹步骤级标注的工作台

    Annotrace 是一款用于 LLM 智能体轨迹步骤级标注的工作台，支持 6 种轨迹格式并生成嵌套步骤列表。 通过联合人机标注流程，两个模型对相同轨迹的标注一致率达 91%（$\kappa = 0.82$），并在多智能体问答语料库中精确复现了 235 个标注单位。 该工具解决了现有可观测性平台缺乏结构化标注、人工标注效率低的问题，正在 AAAI 2027 示范程序评审中。

本事件热度走势

可比范围当前
8
可比范围峰值
910月19日 14:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体，范围可能小于当前热度统计。移动指针或点击图表查看每小时热度；键盘可用左右方向键切换。