摘要
本申请提供了一种车内人员状态的监测方法、装置、设备、存储介质及产品,涉及车辆技术领域,方法包括:获取车内人员的图像数据和音频数据;基于预设的文本提示指导多模态大模型对所述图像数据和所述音频数据执行状态监测任务,得到所述车内人员的状态信息;其中,所述多模态大模型在所述文本提示的指导下执行所述状态监测任务时,对所述图像数据和所述音频数据进行解析,得到所述图像数据对应的图像解析结果和所述音频数据对应的音频解析结果,以及,基于所述图像解析结果和所述音频解析结果进行信息判断,得到所述车内人员的状态信息。采用本申请能够提升对车内人员状态进行监测的准确性。
技术关键词
音频
图像
数据
危险驾驶状态
身体姿势信息
监测方法
文本
姿势识别
人体姿势
深度学习模型
计算机程序产品
意图识别
人机交互接口
语音
状态监测模块
监测设备
多模态信息
面部