一种基于多模态时空对齐的儿童心理监护系统

本发明公开了一种基于多模态时空对齐的儿童心理监护系统，包括：数据采集层：集成RGB‑D摄像头、麦克风阵列及红外传感器，对多模态数据进行时空同步采集；特征处理层：包括视觉分支模块、语音分支模块、红外分支模块，分别处理所述图像数据、语音数据、红外数据；特征融合层：融合所述向量信息集以及结构化信息集，得到融合特征；知识融合层：通过对所述融合特征进行分析，生成全局情感状态、用户画像、交互指令；动态交互决策层：通过对所述全局情感状态、用户画像、交互指令采用PPO强化学习得到表情权重、语音权重、动作权重，驱动终端调节语音、表情、动作交互模式。通过多模态融合以及动态适配能力显著提升了儿童心理监护的技术水平。