一种基于多模融合的车载对话识别方法及系统

本申请涉及一种基于多模融合的车载对话识别方法及系统，通过信息采集系统，采集语音信息和图像信息，结合语音、文本和图像信息，将相关信息通过对齐后，基于大模型的技术以更准确地判断用户对话意图。具体的，解析语音信息和图像信息，生成特征数值，并利用时间戳对齐语音信息和图像信息。将对齐的语音信息和图像信息特征，通过三级仲裁机制，简单规则、简化模型、深度模型进行最终决策。多模态方法提供了更丰富的信息来源，能够更准确地判断用户的对话意图。结合语音、文本、图像信息和车辆状态信息，并对齐时间信息后，系统具有更好的适应性和鲁棒性，能够在复杂环境下准确判断据识意图，通过多级仲裁的设计，可以兼顾响应速度和据识效果。