跳到正文
arXiv · NLP· Anthony Rhodes, Gadi Singer·· 11 天前AI 评分31

BMMS 提出:基于策略的条件化行为合规度量框架

BMMS: Policy-Conditioned Measurement of Behavioral Compliance in Language Models

AI 导读

研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。

来源:arXiv · NLP · arxiv.org