基于多模态信息融合的小样本学习数据扩充方法及系统

本发明公开了一种基于多模态信息融合的小样本学习数据扩充方法及系统，涉及机器学习技术领域，方法包括：获取电力作业环境中的多模态数据构建多模态信息数据集，从多模态信息数据集中提取环境特征和设备状态特征构建多模态特征集；对多模态特征集进行预处理，对预处理后的多模态特征进行加权融合生成多模态特征向量；构建多模态数据扩充模型，并生成虚拟样本，对虚拟样本进行验证和融合，扩充多模态信息数据集；采用数据平衡策略对扩充后的数据集进行平衡，实时获取电力作业数据，通过在线学习机制对所述多模态数据扩充模型进行定期更新。该方法通过结合电力作业环境的传感器数据和图像数据，能够全面提取多种特征，极大丰富了数据集的多样性。