基于多模态群体行为识别技术的交互行为识别方法及系统

本发明属于图像识别领域，提出了一种基于多模态群体行为识别技术的交互行为识别方法及系统，通过设计一种多模态群体行为识别网络，包括图像分支子网络、文本分支子网络和关键点分支子网络，分别进行多模态特征处理，以避免通过单一模态信息进行识别时，由于群体间的交互行为和复杂的交互环境的因素，造成识别精度较低的问题，进一步符合实际检修情况，提高了整体识别的精度，又通过轻量化设计，提高了识别的效率，再进行群体之间和群体与交互目标之间的关系和交互增强，进一步的提高了识别的精度，避免了因为遮挡重叠造成的识别障碍，本发明提高了群体目标交互行为的识别准确性和效率。