跳到正文
arXiv · ML· Sankar Behera, Dhruv Singh, Satyadev Ahlawat, Yamuna Prasad·· 2026-10-14AI 评分25

SARATHI:解耦无数据探测与自适应重构的结构化 LLM 剪枝框架

SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning

AI 导读

SARATHI 提出解耦神经元选择与权重重构的结构化 LLM 剪枝框架,消除域偏置与高稀疏度下的内存溢出。 NMF Residual Subspace Probe 利用权重几何无数据评分,Adaptive OBS 以 O(d^2) 内存完成重构,Bias Shift Compensation 修正激活漂移。

来源:arXiv · ML · arxiv.org