计算机网络信息中心在图像数据处理研究中取得进展

发布者:中国科学院科技产业网        发布时间:2022-02-16

       人类活动识别(HAR)领域在准确分类和检测方面仍面临挑战。准确识别活动背后的核心思想是协助支持物联网(IoT)的智能监控系统。中国科学院计算机网络信息中心大数据部外籍博士生Fayaz A. Dharejo在其导师研究员周园春等的指导下提出了基于Fuzzy的物联网应用中时序活动识别框架,相关研究成果发表在IEEE Transactions on Fuzzy Systems上。

  该工作基于联合使用离散小波变换(DWT)和递归神经网络(RNN)来准确分类和检测人类活动。由于关于HAR利用3D CNN提取空间信息会增加计算负担,最终使用3D-DWT方法替换来提取特征,以通过1D-DWT的三个步骤执行,反映人类行为的时空特征。鉴于上述功能,RNN为每个视频剪辑生成一个输出标签,负责满足输出序列中紧密预测之间的长期时间一致性。通过3D-DWT提取特征实质上是恢复活动的多个角度。许多HAR技术根据图像帧的姿势来区分活动,而不是学习时间序列中姿势之间的过渡关系,从而导致精度下降。为解决这一问题,该工作设计了新颖的基于排名的模糊方法,该方法通过基于置信度分数对活动的概率进行排名来精确地分离活动,在ActivityNet数据集上的平均mAP为0.8012 mAP,并且在benchmark数据集上优于baseline和其他先进方法。


image.png

image.png