CivicBench基准与TSM框架发布

研究团队推出包含400项任务的基准测试CivicBench及Task-State Memory（TSM）框架。该基准覆盖4个城市长达2年的数据，旨在提升城市数据分析的验证能力。 TSM框架的核心机制是将工具观察编译为类型化断言，在兼容范围内调和记录并检索受限状态。这一设计使得决策时刻的记录变得可检查，从而增强了城市数据计算的验证能力。 在初步评估中，针对9个已完成模型对的测试显示，8个模型对的平均得分差值显著为正，表明该框架在特定场景下具有显著的性能提升潜力。该成果已发布在arXiv的cs.AI领域。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。