一种多媒体互动数据的处理方法及系统

本申请提供一种多媒体互动数据的处理方法及系统，涉及数据融合技术领域，从互动数据中筛选出动作模态下的动作交互数据和语音模态下的语音交互数据，进而确定动作交互特征和语音交互特征之间的动态时间规整距离，根据关联交互信息和动态时间规整距离确定动作模态与语音模态进行模态融合时的融合门控系数，通过融合门控系数将动作交互特征和语音交互特征进行模态融合，得到多媒体的数据融合特征；基于信息损失量对数据融合特征进行信息补偿，使用补偿后的数据融合特征对多媒体中的互动数据进行分类可视化展示，本申请可实现语音模态与动作模态的数据融合，从而可提高互动数据处理的可判别性。