arXiv · ML· Ryan Swift, Konstantinos Psounis·· 3 小时前AI 评分21
Follow the Features: 基于 SAE 特征的 LLM 数据高效指令微调方法
Follow the Features: SAE Feature-Guided Data-Efficient Instruction-Tuning of Large Language Models
AI 导读
研究者提出 Follow the Features (FtF) 方法，利用 SAE 特征统计引导指令微调数据子集构建。该方法支持跨模型复用，且选择过程独立于待微调模型本身。 在 Qwen 3 8B 与 Alpaca 数据集的实验中，仅用 100 个样本，FtF 在 AlpacaEval 胜率与 Open LLM Leaderboard 性能调和均值上比全量数据训练高出 1.59 个百分点。
来源：arXiv · ML · arxiv.org