摘要
本发明公开了一种基于多模态数据融合的鸟类识别与生态监测方法及其系统,其中基于多模态数据融合的鸟类识别与生态监测方法,包括:根据图像数据和声纹数据进行多模态数据融合处理,进行类型识别,得到类型识别结果;多模态数据融合处理包括:对采集的数据进行的预处理,获得图像数据和声纹数据;将获取的图像数据和声纹数据进行跨模态特征提取,获得图像特征与声纹特征;将提取的图像特征与声纹特征进行层次化自适应动态多模态融合并进行类型识别,获得类型识别结果。本发明公开了一种基于多模态数据融合的鸟类识别与生态监测方法,能对鸟类种群动态和生态环境健康状况的高精度、实时化评估。
技术关键词
多模态数据融合
生态监测方法
跨模态
双线性
动态门控
生态监测系统
声纹特征提取算法
残差网络
全局平均池化
图像特征提取算法
特征提取模块
因子
频谱特征提取
交叉注意力机制
系统为您推荐了相关专利信息
异构卷积神经网络
序列特征
恶意代码分类
恶意代码检测方法
多模态特征融合
手语翻译方法
连续手语
协同注意力
序列
语法结构
大规模图像数据集
深度学习模型
图像分类模型
图像内容分类
卷积神经网络提取
可见光图像
语义
融合方法
图像编码器
文本特征向量