一种基于多模态特征的猪只行为识别方法及系统

本发明公开了一种基于多模态特征的猪只行为识别方法及系统，包括：基于第一猪只视频数据获取若干个第一猪只图像；将所有第一猪只图像输入至猪只行为识别模型，以使模型内的第一支流网络和第二支流网络分别对各第一猪只图像进行多模态特征提取，并融合提取到的RGB模态特征和骨骼模态特征，输出第一猪只行为识别信息；其中，第一支流网络内的第N+1个残差网络层的输出与第二支流网络内的第N+1个残差网络层的输入连接，第二支流网络内的第N个残差网络层的输出与第一支流网络内的第N+2个残差网络层的输入连接，N≥1。本发明通过模型内两个支流网络之间的双向连接，促进多模态特征信息的互补，以提升猪只行为识别效率和精度。