arXiv · AI· Yile Gu, Zhen Zhang, Shaowei Zhu, Xinwei Fu, Jun Wu, Yida Wang, Baris Kasikci·· 8 小时前AI 评分26
Ekka 自动诊断 LLM 推理中的静默错误
Ekka: Automated Diagnosis of Silent Errors in LLM Inference
AI 导读
Ekka 系统通过对比目标与参考框架的中间执行状态，实现了对 LLM 静默错误的自动诊断，在由真实错误构成的基准测试中取得了 80% 的 pass@1 准确率。 该系统利用差分调试方法，在 88% 的 pass@5 准确率下超越现有系统，并成功定位 4 个新的静默错误，所有结果均已获开发者确认。
来源：arXiv · AI · arxiv.org