基于多模态融合深度学习的自然环境鸟类监测方法及计算机装置

本发明涉及鸟类监测领域，具体涉及一种基于多模态融合深度学习的自然环境鸟类监测方法及计算机装置。方案包括：建立多模态鸟类数据集；对多模态鸟类数据集进行标注；对标注后的数据进行预处理；构建多模态跨注意力Transformer网络模型；对多模态跨注意力Transformer网络模型进行训练与优化；对多模态鸟类数据集中的声音和图像数据进行联合分析，使用YOLOv8目标检测模型，对标注好的图像数据进行训练，实现对鸟类目标的快速检测；结合DeepSORT跟踪算法，对检测到的目标进行跟踪，获取鸟类的运动轨迹；将声源定位信息与视觉跟踪结果进行时空同步，验证鸟类的身份和位置。本发明适用于对自然环境中的鸟类监测。