arXiv · ML· Sankar Behera, Dhruv Singh, Satyadev Ahlawat, Yamuna Prasad·· 2026-10-14AI 评分25
SARATHI:解耦无数据探测与自适应重构的结构化 LLM 剪枝框架
SARATHI: Decoupled Data-Free Probing and Adaptive Reconstruction for Structured LLM Pruning
AI 导读
SARATHI 提出解耦神经元选择与权重重构的结构化 LLM 剪枝框架,消除域偏置与高稀疏度下的内存溢出。 NMF Residual Subspace Probe 利用权重几何无数据评分,Adaptive OBS 以 O(d^2) 内存完成重构,Bias Shift Compensation 修正激活漂移。
来源:arXiv · ML · arxiv.org