arXiv · NLP· Ellen Su, Andres Potapczynski, Shikai Qiu, Edward Hughes, Andrew Gordon Wilson·· 8 小时前AI 评分22
基于Epiplexity的数据选择与生成实现分布外泛化
Epiplexity Guided Data Selection and Generation for Out-of-Distribution Generalization
AI 导读
该研究将Epiplexity转化为在线训练信号，用于指导数据选择（EpiSelect）与合成数据生成（EpiGen）。 具体而言，EpiSelect通过拟合自然数据域的缩放律自适应调整采样权重；EpiGen利用REINFORCE策略梯度引导生成器优化分布。 结果表明，高Epiplexity数据显著提升了零样本及微调任务的性能，验证了结构丰富数据更易跨域迁移的假设。
来源：arXiv · NLP · arxiv.org