融合带货短视频多模态信息的消费者参与预测方法与系统

本发明提出一种融合带货短视频多模态信息的消费者参与预测方法与系统，该方法包括：分别获得文本模态特征矩阵、音频模态特征矩阵和视觉模态特征矩阵；通过文本模态特征矩阵、音频模态特征矩阵和视觉模态特征矩阵构建预测模型；以映射到相同目标维度的共享空间的方式得到线性变换后的文本特征表示、线性变换后的音频特征表示和线性变换后的视觉特征表示；通过跨模态交叉注意力机制和拼接操作，得到拼接向量表示；通过拼接向量表示，结合预测模型得到预测结果。本发明通过深度学习模型充分利用短视频中的文本、音频和视觉信息，以提高预测消费者参与行为的准确性。