基于多模态数据融合的训练评估方法、系统、设备及存储介质

本申请提供了一种基于多模态数据融合的训练评估方法、系统、设备及存储介质，可应用于医疗健康领域中的手术实操培训，该方法包括采集训练过程中生成的生理信号数据和操作轨迹数据；通过三维空间坐标投影与时间插值算法，对不同采样率的生理信号数据和操作轨迹数据进行时空对齐，构建关联矩阵；基于关联矩阵对生理信号数据和操作轨迹数据进行特征提取及融合，生成融合特征向量；采用包含基础层级评估和优化层级评估的分层评估机制对融合特征向量进行处理，输出综合能力评估结果；根据综合能力评估结果触发对应的动态干预措施；从而对生理信号数据和操作轨迹数据进行多模态融合，精准输出综合能力评估结果，在实操过程中及时进行干预纠错。