基于大语言模型与多模态数据的心理健康评估方法及系统

本发明涉及一种基于大语言模型与多模态数据的心理健康评估方法及系统，系统包括：数据采集模块用于采集受试者的同步的音频、视频和文本数据；数据预处理模块，对音频数据进和视频数据进行预处理；特征提取模块，提取音频特征、视频特征和语音均转化为伪文本，多模态融合模块，将多模态伪文本与原始文本输入共享嵌入层进行统一向量表示；大语言模型处理模块，采用Transformer架构大语言模型对融合后的多模态向量进行深度上下文语义建模，输出包含情绪和心理状态的深层语义嵌入矩阵；分类模型模块，基于所述语义嵌入矩阵训练可配置的卷积神经网络分类器，支持二分类或多分类任务，实现心理评估检测。上述方案显著提升了检测的客观性和准确性。