跳到正文
arXiv · NLP· Haohui Wang, Jiahao Xu, Wangzhi Zhan, Tong Zeng, Dongqi Fu, Hong Li, Swastik Roy, Naren Ramakrishnan, Chris North, Jian Kang, Yujun Yan, Dawei Zhou·· 2026-10-09AI 评分32

长期分布下监督微调中的先验障碍:PASS 自适应指令选择方法

Overcoming Prior Barriers: Supervised Fine-Tuning under Long-Tail Distribution

AI 导读

针对长尾分布下预训练模型对罕见概念支持不足的问题,提出 PASS 自适应指令选择方法。 该方法根据先验障碍动态分配有限预算,在 4 种骨干预算设置下表现优于 7 种 SOTA 方法。 消融实验证实自适应分配显著优于均匀分配策略。

来源:arXiv · NLP · arxiv.org