arXiv · ML· Jiahang Liu, Wenbo Zhang, Junsong Wang, Zhenzhi Ying, Siqi Hou, Naohiko Sugita, Liming Shu·· 3 天前AI 评分38
DoF-Query Transformer 实现第一人称视觉与前臂 HD-sEMG 自适应融合以连续追踪手部运动
DoF-Query Transformer for Adaptive Fusion of Egocentric Vision and Forearm HD-sEMG in Continuous Hand Kinematics
AI 导读
该多模态框架融合第一人称 RGB 图像与 128 通道前臂 HD-sEMG,实现 20 个手指关节角度的连续回归。 视觉编码器与 EMG 编码器配合 DoF 查询 Transformer 解码器,为每个自由度分配独立可学习查询,实现自适应融合。 融合模型平均 R² 达 0.88,MAE 为 2.80°,优于单模态基线,并在视觉遮挡场景下展现更强鲁棒性。
来源:arXiv · ML · arxiv.org