一种姿态驱动的人物交互行为多层感知方法及系统

本发明提出一种姿态驱动的人物交互行为多层感知方法及系统，属于计算机视觉、行为识别领域，包括：S1：输入图片通过AFE模块进行特征提取，再通过扁平化操作得到图像特征嵌入R；S2：通过人体姿态检测方法获取输入图片的骨骼关键点，经过AGCN模块将骨骼关键点生成姿态嵌入P；S3：将R和P输入跨域特征融合模块进行融合嵌入，获得融合特征F；S4：将融合特征F、图像位置编码和HOI查询输入Transformer模型，得到输出嵌入D；采用多个多层感知机（MLP）分支将D解码为五元组HOI实例，并预测人物之间的交互行为。本发明方法旨在解决现有技术人体姿态信息缺乏，人物交互动作识别精确度较低的问题。