基于多维度一致性约束的多模态心理数据分析方法及系统

本发明公开了一种基于多维度一致性约束的多模态心理数据分析方法及系统，首先针对待测者的心理问诊视频，提取问诊视频中的模态数据，包括文本数据、视频数据和音频数据；然后使用特征提取器提取三种模态的初始特征；接着应用卷积神经网络处理三种模态初始特征，获得三种模态的单峰特定信息；保留时间信息，使输出在维数上一致；将每个模态的单峰特定特征输入到具有共享参数的共同特征提取器中，获得的每个模态的特征及所有模态的共同心理数据信息；最后将单峰特定信息和共同心理数据信息作为融合信息，输入MLP层进行预测，获得多模态心理数据分析结果。本发明解决了主导模态产生的优化偏差，增强了模态间样本的空间结构。