arXiv · ML· Natalie Collina, Surbhi Goel, Aaron Roth, Sikata Bela Sengupta·· 7 天前AI 评分31
委托给未对齐智能体的授权:联盟对齐与安全控制
Delegating Authorization to Misaligned Agents: Coalitional Alignment and Safe Control
AI 导读
该研究指出,委托AI审查存在对齐难题,提出“k-鲁棒联盟对齐”条件。该条件要求移除k个审查员后,委托人效用可表示为剩余审查员效用的非负组合,是保证策略不劣于基线的充要条件。 在折扣MDP中,策略安全性需满足全状态必要充分条件;实验表明,即使存在未对齐个体,集体审查在容忍部分否决时仍可保持可靠。
来源:arXiv · ML · arxiv.org