arXiv · NLP· Peidi Dong, Yunze Xiao, Yu-Lin Tsai, Yichen Zheng, Heyuan Huang, Weihao Xuan, Mark Dredze, Jen-tse Huang·· 8 小时前AI 评分29
TASC 基准测试揭示 LLM 在对话中应用时间依赖安全约束的缺陷
Before You Continue: Evaluating Time-Sensitive Safety Awareness in Conversational Assistants
AI 导读
新基准 TASC 显示，13 个大模型在对话中应用时间依赖约束的比例仅 30.5%。 TASC 包含 3,418 个输入，发现 62.1% 的情况下模型能计算耗时却未应用安全约束。 这表明 LLM 在时间推理与应用之间存在明显能力缺口。
来源：arXiv · NLP · arxiv.org