跳到正文
arXiv · ML· Hennadii Kutomanov·· 5 小时前AI 评分43

指令容量:受控负载下语言模型的行为与退化

Instruction Capacity: Behavior and Degradation of Language Models under Controlled Load

AI 导读

研究提出“指令容量”度量模型指令遵循极限,GPT-4o mini 在 95% 正确率下容量为 37-38 条规则,全密度下降至 18-19 条。 通过 642,430 次试验构建统计模型,量化规则数量、密度等负载因素对替换成功率的影响,并公开了测量代码与数据。 该“护照”数据可作为未来评估 Prompt 指令负载的校准基准。

来源:arXiv · ML · arxiv.org