穿戴视觉辅助用多模态大模型表情检测分析方法及其应用

本发明公开了一种穿戴视觉辅助用多模态大模型表情检测分析方法及其应用，步骤：应用人脸检测算法检测待检测图像获取人脸框信息；人脸框信息输入基于多模态大模型的表情识别模型得到表情信息，表情识别模型包括ViT特征提取模块、adapter算子模块、大语言模型模块以及分类器模块，特征提取模块的输入为人脸框信息，输出分别作为算子模块和大语言模型模块的输入，算子模块的输出作为大语言模型模块的输入，大语言模型模块的输出作为分类器模块的输入，分类器模块的输出为表情信息；对当前时间段的表情识别结果进行统筹和分析，生成分析报告。本发明的方法，对表情识别精度高、反馈速度快，能够实现实时交互，应用前景好。