基于多模态数据融合的用户行为预测系统及方法

本发明公开了基于多模态数据融合的用户行为预测系统及方法，具体涉及用户行为预测领域，包括多模态数据采集模块、预处理与特征提取模块、跨模态融合模块、用户行为预测模块、模型优化与反馈模块；本发明系统通过多模态数据采集模块实时获取用户的视觉、听觉、文本、生理信号及环境上下文等多维度原始数据；再采用ResNet、VGGish、BERT等深度网络分别提取各模态的高维特征向量，并通过注意力机制动态学习不同模态特征的贡献权重；最后基于Transformer与LSTM的时序模型分析融合特征，输出未来行为意图的概率分布；通过多目标损失函数和端到端反向传播实现参数联合优化与持续学习。