跳到正文
arXiv · ML· Mohammed Aman Bhuiyan, Md. Sazzad Hossain Adib, Samiul Basir Bhuiyan, Mir Faiyaz Hossain, Syed Mohammed Shamsul Islam, Md Zakir Hossain, Shafin Rahman·· 5 小时前AI 评分37

DUGO:用于第一人称程序视频在线时间动作定位的双尺度高斯记忆

DUGO: Dual-Scale Gaussian Memory for Online Temporal Action Localization in Egocentric Procedural Videos

AI 导读

DUGO框架通过双尺度时间编码器和高斯记忆库,在在线时间动作定位中实现最先进性能,显著提升多时间尺度动作捕捉与长程推理能力。 模型结合深度局部表征与全局自注意力机制,利用输入条件化高斯原型增强时序记忆,并在编码器及锚点查询阶段应用门控交叉注意力。 实验在EGTEA和EPIC-Kitchens-100等数据集上验证效果,同时为非第一人称基准Muses带来显著改进。

来源:arXiv · ML · arxiv.org