一种基于多模态数据的鸟种识别方法及其系统

本发明公开了一种基于多模态数据的鸟种识别方法及其系统，涉及鸟种识别技术领域。包括拍照获得多幅存在前后关系的待识别鸟种的序列图片；将序列图片堆积成一幅图片并进行预处理，采用卷积神经网络获得序列特征向量；全面记录并表征待识别鸟种的飞行轨迹；采用transformer网络获得轨迹特征向量；整理区域鸟情描述文本，对文本采用transformer网络获得文本特征向量；对特征向量进行多模态特征融合，获得综合特征向量；把综合特征向量输入多层感知器网络，并将输出转化为概率向量，选取概率最高的鸟类种类作为识别结果。本发明通过整合鸟类目标序列图片数据、飞行轨迹数据、区域鸟情描述信息，并结合多模态大模型技术，实现对鸟类的精确识别。