基于多模态数据的低耗式学习障碍智能筛查方法及系统

本发明公开了一种基于多模态数据的低耗式学习障碍智能筛查方法及系统，涉及数据分析技术领域。该方法包括：利用基于Haar小波变换的多级稀疏编码图像匹配模型和基准异常人脸图像，对人脸图像是否存在异常进行检测；利用基于维纳滤波与Transformer相结合的区分式语音去噪模型，对待检测语音信号进行去噪；利用基于HMM与Transformer相结合的结果评估式语音识别模型，对去噪后待检测语音信号进行识别；获取学生语言表达异常评估结果；利用基于CNN与Transformer相结合的清晰度多维分析式文字识别模型，对学生答题纸图像进行识别；获取学生书写表达异常评估结果；根据上述多个结果判断学生是否存在学习障碍。本发明充分利用了多种模态的数据实现了精度较高、消耗较低的学习障碍筛查。