arXiv · ML· Albert Heekwan Kim·· 5 小时前AI 评分38
KORA:面向 AI 工作负载的确定性优先执行控制
KORA: Deterministic-First Execution Control for AI Workloads
AI 导读
KORA 架构通过先尝试确定性路由来避免不必要的模型推理,在 100 项任务的基准测试中成功避免了 80 次模拟模型调用。 该方法在确定性子集测试中实现零不匹配,并通过遥测记录验证路由结果,仅当确定性处理不足时才升级至模型路径。 此工作证明了在特定文档化负载下减少模型调用的潜力,但并未确立生产环境下的实际表现或成本优势。
来源:arXiv · ML · arxiv.org