arXiv · NLP· Yuqi Wu, Deyang Li, Katharine Hibbard, Ron Oswald, David Sinclair, Adegboyega Sapara, Kalutota Kuruwe Arachchige Sajana Indula Samarasinghe, Abhinav Pillai, Reham Shalaby, Riffat Alam, Xin-Min Li, Yanbo Zhang, Jie Chen·· 5 小时前AI 评分31
图式连贯量表 (SCI)：衡量指定信念如何组织语言模型认知
The Schema Coherence Inventory: Measuring Whether an Assigned Belief Organizes a Language Model's Cognition
AI 导读
语言模型团队提出图式连贯量表 (SCI)，包含 96 道强制选择题，用于衡量指定信念是否真正组织模型认知而非仅调整情绪。 在五个 1.7B-14B 基座模型上，9 名临床专家识别指定信念准确率达 79.5%，信念适配器在 30/30 信念单元上表现出靶标特异性。 研究揭示了现有患者模拟器未能有效承载核心理论信念，并发布了题目、评分代码及简短量表，为情感测量提供模板。
来源：arXiv · NLP · arxiv.org