临床医生主导心理健康聊天机器人护栏安全检查

该研究提出由两名临床医生定义并裁决的四项安全检查规则库，作为大语言模型输出的护栏机制，旨在提升心理健康聊天机器人的安全性。规则库经过形式化验证，测试结果显示Llama-3.3-70B在包含危机资源的回复中错误要求更多资源，而验证层能有效避免此类误报，且使分歧可定位到具体规则。 在测试中发现该方法导致过度拒绝率从6.0%上升至16.0%。这一研究通过规则化手段强化了临床专家在AI安全监控中的主导作用，平衡了误报控制与过度拒绝的风险。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。