多模态大模型融合多光谱图像的风电机舱火灾预警方法

本申请公开了一种多模态大模型融合多光谱图像的风电机舱火灾预警方法，涉及火灾预警领域，该方法利用可见光图像和红外图像进行图像融合得到风电机舱在不同工作状态下的样本融合图像，样本融合图像融合了不同光谱模态下的图像特征进行优势互补，能够更好的表征风电机舱在当前工作状态下的图像特征，然后对样本融合图像进行图像标注和文字描述构建火灾常识图文数据集，并对预训练的VILA多模态大模型进行参数调整，使得搭建得到的风电机舱火灾预警模型能够理解风电机舱火灾预警基本常识，从而可以根据目标对搜索进行动态调整，有利于提高风电机舱在火灾预警状态下的异常目标的识别定位准确性，可以提高火灾预警的准确性。