一种基于单模型多任务推理的智慧座舱实现方法及系统

本发明公开了一种基于单模型多任务推理的智慧座舱实现方法及系统，属于汽车电子领域，包括对智慧座舱内原始图像数据预处理后，将共享深度特征输入检测头和第一分类头，检测头的输出采用检测后处理得到目标检测锚框及位置信息，第一分类头的输出采用分类后处理得到分心识别分类；对目标检测锚框及位置信息进行预处理后，将人体区域子图像输入安全带识别分类模型；将人脸区域子图像并行输入疲劳识别分类模型、人脸ID匹配模型、注视点估计模型、视线估计模型及头部姿态估计模型；采集连续视频流中的人脸图像序列和语音序列，分别输入唇语识别模型和语音识别模型，将识别结果输入大语言模型处理后生成交互指令，通过语音合成模块输出响应。