Hacker News LLM· softwaredoug·· 3 天前AI 评分42
搜索评估中:为何优先使用合成流量而非 LLM 作为裁判
Prefer synthetic traffic over LLM as a judge
AI 导读
在搜索评估领域,文章主张以合成流量驱动的智能体替代“LLM 作为裁判”模式,以解决传统离线评估无法映射真实 UI 交互的痛点。 核心事实是,通过编码智能体在模拟的搜索应用中执行搜索和点击操作,可生成合成数据来更准确地评估搜索相关性。 技术实现上,该系统包含一个外部编排器任务调度,以及内部使用 Playwright 驱动浏览器的子智能体,通过模拟点击行为追踪数据库生成评估数据。
来源:Hacker News LLM · softwaredoug.com