摘要
本发明提供了一种基于多模态数据融合的儿童能力评估方法及装置,包括以下步骤:S1、采集家长沟通的语音数据,采集儿童的视频数据;S2、将S1得到的语音数据转换为文本数据,对视频数据进行预处理;S3、将文本数据和经过预处理的视频数据输入至多模态大语言模型;S4、在多模态大语言模型中输入问卷,多模态大语言模型生成儿童能力评估结果。本发明有益效果:通过采集儿童视频数据、家长的语音数据,通过人工智能的多模态大语言模型进行评估,减少了评估人员的主观偏差,且儿童视频数据的形式,便于家长采集,减少了由于儿童紧张导致的评估结果不准确。
技术关键词
多模态数据融合
能力评估方法
大语言模型
儿童
文本
计算机可读取存储介质
语音
能力评估装置
数据采集模块
年龄
数据分析模块
处理器通信
关键帧
视频帧
报告
存储器