一种多模态抑郁检测方法、系统、介质及设备

本发明为一种多模态抑郁检测方法、系统、介质及设备，涉及人工智能技术领域，包括获取多模态数据，包括文本、语音和视觉；提取多模态数据特征；然后通过跨模态多头注意力机制对多模态特征进行信息交互处理，并将将目标模态相同的交互特征进行拼接，获得拼接交互特征，引入多头自注意力机制对拼接交互特征进行处理，获得处理后的拼接交互特征；基于三个MLP单元构建CubeMLP模块，CubeMLP模块对拼接交互特征进行混合，获得混合多模态特征；将混合多模态特征进行扁平化处理，获得扁平化的混合多模态特征并送入分类器，获得抑郁倾向结果，以一致性相关系数损失作为损失代价训练模型对抑郁倾向进行回归，获得抑郁检测结果。可以实现更高效、更准确的抑郁症识别。