一种基于面部表征多模态融合的孤独症儿童早期诊疗系统

本发明公开了一种基于面部表征多模态融合的孤独症儿童早期诊疗系统。系统采集儿童观看特定视频(7分08秒)时的面部视频，提取前2000帧图像作为输入，采用改进的对比语言‑图像预训练模型提取表情数据，结合GazeMobileNet获取视线数据，通过多阀记忆机制的多模态融合网络(含初步记忆、关键提取和隐藏学习模块)进行时序特征提取与分类。在干预阶段，系统提供打地鼠、图形识别等干预游戏，训练反应、认知、协调及语言能力，并根据反应时间等训练数据生成评估报告。该系统整合数据采集、特征学习、多模态分类及干预训练，提升了诊断准确性和干预效果，具有操作简便、普适性强的特点。