arXiv · ML· Zhengtao Gui (University of California, Irvine), Weining Shen (University of California, Irvine)·· 7 小时前AI 评分30
LLM 噪声预言机下约束剪枝中的错误传播分析
How Much Does One Wrong Answer Cost? Error Propagation in Constraint Pruning with Noisy LLM Oracles
AI 导读
研究分析了大语言模型在约束剪枝中产生噪声预言机时的错误传播风险。 对于蕴含规则，随机剪枝不增加一阶风险；含 $s$ 个前提的规则中，错误答案可导致 $r^{1-1/s}$ 量级事实错误。 在实体解析中，枢轴顺序（pivot orders）将错误放大系数控制在 2 以内且为最优，随机顺序约为 $m^{1/3}$，最相似优先顺序表现最差。
来源：arXiv · ML · arxiv.org