QSGS：基于查询的子模数据选择实现高效指令微调
热点事件持续更新
QSGS：基于查询的子模数据选择实现高效指令微调
1 篇报道1 个报道来源2 小时前更新
先了解这件事
报道摘要
QSGS 方法通过子模图割和梯度引导合成，在 MMLU、BBH 和 TydiQA 基准测试中，以 0.5% 数据预算在 Mistral-7B 上匹敌甚至超越全量数据微调性能。 该方法利用成对分散惩罚抑制冗余，并通过残差子空间分析生成合成样本以填补覆盖缺口。 在 Llama-2、Llama-3 和 Mistral 模型上，QSGS 随预算降低展现出更显著的增益优势。
摘自 arXiv · AI
最新进展11月4日 13:00
QSGS：基于查询的子模数据选择实现高效指令微调报道时间线
沿着报道，了解事件的不同侧面。
11月4日
- arXiv · AIQSGS：基于查询的子模数据选择实现高效指令微调
QSGS 方法通过子模图割和梯度引导合成，在 MMLU、BBH 和 TydiQA 基准测试中，以 0.5% 数据预算在 Mistral-7B 上匹敌甚至超越全量数据微调性能。 该方法利用成对分散惩罚抑制冗余，并通过残差子空间分析生成合成样本以填补覆盖缺口。 在 Llama-2、Llama-3 和 Mistral 模型上，QSGS 随预算降低展现出更显著的增益优势。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。