arXiv · NLP· Jhen-Ke Lin, Chung Chun Wang·· 2026-10-12AI 评分33
StreamDecisionBench:评估语言流中生效决策的基准
StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams
AI 导读
团队发布数据集 StreamDecisionBench 及 in-force accuracy 指标,用于评估语言模型在实时流式决策中的应用。 数据集包含 8 个流式场景,指标在 0.5-8 秒的更新间隔内计算决策正确率,共同反映准确率与延迟。 测试发现慢速模型约 42%-47% 的时间因答案过时出错,最优混合系统也仅有约三分之二时间保持决策正确。
来源:arXiv · NLP · arxiv.org