arXiv · AI· Omar Ramadan, Sam Siavoshian, Amir Kashif Saeed, Benjamin A. Johnson, Amin M. E. -A. Diab, Benjamin M. Rodriguez·· 7 小时前AI 评分21
ZeroGraph:通过实体化边界监督实现组合式分块训练
ZeroGraph: Compositional Blockwise Training via Materialized Boundary Supervision
AI 导读
ZeroGraph 通过实体化冻结教师的边界轨迹为版本化数据集,实现预训练模型转换与蒸馏中的分块独立训练。 在 GPT-2 Large 上,无锚定目标使去噪误差降低 99.44%,但交叉熵从 3.63 恶化至 10.48;在 Qwen2.5 模型上,干净教师边界回归方案通过质量与上下文使用测试。 该方案将跨深度语义依赖从在线优化转移至持久数据,中断的分块可恢复至比特级相同的最终状态。
来源:arXiv · AI · arxiv.org