基于多模态数据融合与分析的智能座舱分析方法及系统

本发明公开一种基于多模态数据融合与分析的智能座舱分析方法及系统。该方法通过获取视觉输入数据、语音输入数据和文本输入数据，根据红外图像数据，基于预先训练的视线估计模型得到预测的视线方向数据；将视线方向数据转换为文本数据并提取第一文本特征；将视觉多模态特征融合的结果与文本特征的数据对齐，得到第二文本特征；对语音输入数据提取第三文本特征；对文本输入数据提取第四文本特征；将以上文本特征进行文本融合，得到融合后的文本数据特征并将其输入到预训练好的大语言模型中，利用大语言模型对融合后的文本数据特征进行分析，从而对智能座舱进行全面的智能感知和综合分析。