一种多模态数采集与特征融合系统、方法及服务器

本申请公开了一种多模态数采集与特征融合系统、方法及服务器，包括：数据采集与特征提取模块，用于进行多模态数据的采集以及特征提取；跨模态数据采样同步模块，用于将采集的多模态数据进行时间点同步采样，使同一时间点的多模态数据互为补充并有效同步；数据特征融合与优化模块，利用神经网络对同步后的多模态数据进行融合处理，生成同一的多模态特征表示；自监督学习与跨模态训练模块，采用自监督学习策略，自动生成标签或损失函数进行跨模态训练。本申请能够有效地处理文本、音频和图像数据的异质性；通过深度学习网络与自监督学习策略的结合，提升了多模态任务的泛化性和鲁棒性。