arXiv · ML· Mingquan Feng, Yixin Huang, Yifan Fu, Shaobo Wang, Junchi Yan·· 2026-10-07AI 评分26
KO:受动力学启发的PDE模拟神经网络优化器
KO: Kinetics-inspired Neural Optimizer with PDE Simulation Approaches
AI 导读
KO 提出一种基于动力学理论和偏微分方程的即插即用优化模块,通过玻尔兹曼输运方程的离散化增强参数多样性,缓解权重凝聚。 该方法在 CIFAR-10/100、ImageNet 等图像分类基准及大规模语言模型预训练中,以可忽略的额外计算成本持续提升精度。 KO 保持了收敛性保证,并显著改善了泛化性能。
来源:arXiv · ML · arxiv.org