基于BLT-BiLSTM的多模态数据时间序列目标预测方法及系统

本发明公开了一种基于BLT‑BiLSTM的多模态数据时间序列目标预测方法及系统，应用于多模态数据融合预测技术领域。方法包括以下步骤：获取结构化数据、文本数据、音频数据；使用LLM模型对音频数据进行文本提取及情绪识别生成音频文本数据，并使用Chinese‑BERT‑wwm模型对音频文本数据及文本数据进行词向量特征提取，选取有良好识别能力的词向量；将音频文本特征、文本特征和结构化数据特征输入Transformer模型，输出具有良好预测效果的特征；将融合好的特征作为输入集，输入BiLSTM模型进行预测。本发明优化了传统的音频、文本、结构化数据多模态特征硬拼接融合方式改用Transformer模型进行特征融合，使用BiLSTM对时序数据预测的准确率上有提高。