基于多模态数据的精神疾病智能识别方法、设备和介质

本发明提供一种基于多模态数据的精神疾病智能识别方法、设备和介质，该方法包括：获取待测者的病情自述文本信息、耳部图像数据、待测者耳甲区和耳轮区内各指定穴区的阻抗和/或温度信息；对耳部图像数据进行局部特征提取得到图像特征向量；利用多头注意力机制捕捉不同穴区的阻抗和/或温度信息之间的测量值特征向量；提取病情自述文本信息的语义特征向量；将图像特征向量、测量值特征向量、语义特征向量形成多模态融合特征向量并输入到疾病智能识别模型进行分类，输出精神疾病预测结果。本发明融合耳部图像、各穴位的阻抗和/或温度信息、患者自述文本信息多模态数据并结合深度学习模型实现疾病分类，提升识别效率和准确性。