arXiv · NLP· Yegor Anichkov, Valery Vinogradov, Andrey Furov, Marina Polukoshko, Sergey Bolovtsov·· 17 小时前AI 评分30
TenetBench:用于评估语言模型遵守职业伦理的专业条款锚定俄语语料库
TenetBench: A Clause-Anchored Russian Corpus for Evaluating Language Models against Professional Codes of Ethics
AI 导读
TenetBench 构建包含 3,433 个请求的语料库,对比十四种模型组合。 结果显示,14 个模型中 11 个常生成违规内容且少警告;启用推理使两个模型拒绝对半。该数据集有助于诊断特定职业规范遵从性。
来源:arXiv · NLP · arxiv.org