基于界面式情感交互的多模态心理健康评估系统及方法

本发明公开基于界面式情感交互的多模态心理健康评估系统及方法，涉及医疗保健技术领域；而本发明包括数据收集单元、情感识别单元、特征提取单元、评估单元、反馈单元和跟踪单元；通过特征提取单元对收集的信息进行特征提取，构建模态之间的联系，并融合特征信息中的关键部分，图像、语音和文本之间存在的联系和相互影响，模态信息交互模块关注模态内和模态间信息的联系，在模态信息交互模块中使用多头点积注意力机制准确地选择与另一模态相关联的特征，并且利用特征融合模块选择交互特征中包含情感信息的部分进行分类，相较于现有的技术，多模态数据进行分类的准确率比单模态数据分类的准确率要高，从而有效的提高了心理健康评估的精确性。