arXiv · AI· Rahul Sharma, Andrew B. Duncan, Ga\'etan Marceau Caron, Sebastian J. Vollmer·· 2026-10-09AI 评分24
TypedBench:面向 System One 决策模型校准、框架敏感性与成本的基准
TypedBench: A Benchmark for Calibration, Framing Sensitivity, and Cost in System One Decision Models
AI 导读
TypedBench 是评估 System One 决策模型的基准,基于7个策略标注生成器和9个评估套件构建,测试0.8B至9B参数的开放解码器及托管模型。 该基准通过选择性预测、序数恰当评分规则和非对称成本矩阵下的实际成本来评估概率质量,并报告跨改写准确率的中位数及范围。 在托管模型上,非对称成本下使用其概率比直接采用首选答案更差;解码器在策略问题上准确率最低且随选项增多而下降。
来源:arXiv · AI · arxiv.org