跳到正文
arXiv · ML· Anastasios Chatzigiannis, Natalia Panagou, Maria Koziri·· 5 小时前AI 评分23

KeyWise 提出轻量级单键架构,实现高效纯视频钢琴转录

KeyWise: Efficient Video-Only Piano Transcription with a Lightweight Per-Key Architecture

AI 导读

KeyWise 采用 1.3M 参数的轻量架构,将视频钢琴转录速度提升 4.7 倍,在 100ms 粒度下 onset F1 达 97.8%。 模型将键盘分割为 88 个 ROI,利用已知几何结构替代全局特征学习,在 key release 和 velocity 识别上也优于 SOTA。 该成果为无需音频的视觉钢琴转录提供了高效解决方案。

来源:arXiv · ML · arxiv.org