arXiv · AI· Grant Nasir Brown, Abdul Basir Bari, Anmol Tadikonda, Isabel Song·· 2 小时前AI 评分35
P-ContextBench:从个人事实回忆到个性化智能体行为
P-ContextBench: From Personal Fact Recall to Personalized Agent Behavior
AI 导读
P-ContextBench 是一个评估大语言模型个人上下文理解的基准,包含 100 个人设、10,088 个隐藏事实和 4,810 个验证测试用例。 该基准测试涵盖单源事实恢复、多源事实恢复、时间状态追踪、高阶模式推理及约束感知行为决策五大能力。 前沿模型在时间追踪和高阶推理上准确率低于 60%,该基准为改进个人智能体的准确性、可靠性和安全性提供了可衡量目标。
来源:arXiv · AI · arxiv.org