arXiv · ML· Lisong He, Yunxuan Jiang, Haishan Ye, Xiangyu Chang·· 2026-10-14AI 评分28
ZOIF 提出 LLM 数据选择的零阶影响函数估计方法
ZOIF: Zeroth-Order Influence Function Estimation for LLM Data Selection Using Only Forward Passes
AI 导读
论文提出 ZOIF 框架,通过纯前向传播实现 LLM 数据选择中的影响函数估计,避免使用反向传播。 该方法将计算分解为三个无 BP 阶段,利用零阶估计近似梯度并优化逆 Hessian 向量乘积,显著降低峰值内存成本,同时保持与基线相当的下游任务表现。
来源:arXiv · ML · arxiv.org