多模态数据处理方法、系统、计算机设备及可读存储介质

本申请公开了一种多模态数据处理方法、系统、计算机设备及可读存储介质，可以实现多模态信息的深度关联与互补性挖掘，提升多模态理解的准确性和鲁棒性。所述方法包括：环境感知模块根据自适应决策模块传递的反馈信息调整环境感知策略，根据环境感知策略采集多模态数据；多模态编码模块将多模态数据编码为同一维度的多模态特征向量；跨模态融合模块融合多模态特征向量，得到融合特征；自适应决策模块根据当前决策任务的任务类型，在预定义网络库中选取与任务类型匹配的决策网络，以及将融合特征输入至决策网络，根据决策网络的决策过程生成反馈信息；元学习控制器评估当前多模态数据处理系统的系统性能，并根据评估结果调整系统参数。