arXiv · NLP· Anthony Rhodes, Gadi Singer·· 11 天前AI 评分31
BMMS 提出:基于策略的条件化行为合规度量框架
BMMS: Policy-Conditioned Measurement of Behavioral Compliance in Language Models
AI 导读
研究引入 BMMS 套件,通过计算合规达成率(CAS)和稳健性裕度(CRM),对语言模型在特定规则下的行为合规进行条件化评估。 在包含 1,003 项义务的测试中,其归因判定精度达 94.4%,且跨供应商重评分保持了目标排序不变。 GPT-4o 在 OpenAI 官方模型规范下的硬性约束失败率为 70.7%,显著高于 Claude 模型的 0.0% 和 9.1%。
来源:arXiv · NLP · arxiv.org