摘要
本发明提供了一种船只视频多模态特征提取方法、船只视频数据库、多模态查询方法。所述方法包括以下步骤:S1、接收船只视频和第一提示词,所述第一提示词为预设的船只的感兴趣方面;S2、根据所接收的船只视频,基于所述第一提示词,由预训练的大语言模型(LLM)模块输出图像帧和文本数据;S3、由文本去分词器对所输出的文本数据进行分词以形成描述特征,所述描述特征与预设的船只的感兴趣方面相对应;S4、由第一线性层对所输出的图像帧和文本数据进行处理以生成稠密特征;S5、由预训练的图像帧分类器对所输出的图像帧进行分类,以得到清晰图像帧;S6、根据所得到的清晰图像帧,由图像检测识别模块识别清晰图像帧中的船只的精细特征,其中,所述精细特征指示船只的部件的属性。
技术关键词
特征提取方法
船只
视频
查询方法
检测识别模块
大语言模型
图像
文本
稀疏特征提取
多模态特征
计算机程序代码
稠密特征
感兴趣
分类器
计算机程序产品
线性
颜色
系统为您推荐了相关专利信息
计算机分析系统
动物
刺激装置
智能控制模块
测量方法
可再生能源驱动
数据传输系统
数据采集系统
供能系统
风力发电机构
关键帧
视频分析方法
图像识别模型
视觉
图像分类模型
视频帧
异常对象
时间序列特征
时空注意力模型
运动估计补偿
会议摘要生成方法
大语言模型
文本去重
自动语音识别
音视频采集设备