arXiv · ML· \"Ozg\"un Turgut, Daniel Rueckert·· 3 天前AI 评分40
OTISv2 通过特征空间正则化解决自监督时间序列编码器的特征坍缩问题
Breaking feature collapse in self-supervised time series encoders
AI 导读
自监督时间序列编码器因输入空间监督导致输出 Token 部分坍缩,OTISv2 引入特征空间的自蒸馏损失和 KoLeo 正则化器抑制坍缩。 该模型在 7.1M 至 116M 参数量范围内单调提升,并在 143 个单变量和多变量数据集上匹敌或超越现有通用编码器。 开源代码与预训练权重已发布以促进进一步研究。
来源:arXiv · ML · arxiv.org