arXiv · ML· Dier Tang, Jing Yee Tan, Guangyue Han·· 10 天前AI 评分30
频谱表示学习的锐利后悔界与任务协方差校正
Sharp Regret Bounds and a Task-Covariance Correction for Spectral Representation Learning
AI 导读
频谱对比学习保留视图间强依赖的k个方向,但下游任务可能需要其他方向。现有保证假设任务分布各向同性,这是错误标准。 在线性探针下,任务分布仅通过矩阵 BΛB^T 影响平均探测增益,最优特征应张成其前k个特征子空间,而频谱特征张成 BB^T 的特征子空间。
来源:arXiv · ML · arxiv.org