一种无人机场景下基于开放词汇的人物交互检测方法

本发明提出一种无人机场景下基于开放词汇的人物交互检测方法，包括使用预训练的CLIP视觉编码器提取图像的全局特征，将图像分割成多个图像块并编码；引入MLR模块提取全局上下文信息，从多级特征图中解码人物交互，在预测结果和真实结果之间进行二分图匹配时，设计损失函数以引导低级特征图对应于较小距离的人物对，高级特征图对应于较大距离的人物对；利用大型语言模型生成与图像中人物交互相关的人体部位状态描述，将人物交互类别名称和相关人体部位的状态描述编码为文本嵌入，并将嵌入与人物交互解码器的输出以及MLR模块提取的全局上下文信息相结合，得到实例级的检测分数，本发明中模型更好地适应不同距离下的交互检测需求。