基于多模态语音识别的内窥镜的控制方法及内窥镜系统

本发明公开了一种基于多模态语音识别的内窥镜的控制方法及内窥镜系统，内窥镜系统包括内窥镜插入部、内窥镜操作部、语音接收芯片、语音识别装置、以及处理器，所述语音识别装置还被配置为：获取语音样本数据、噪声样本数据、以及环境传感器采集的历史环境特征数据；将所述语音样本数据和噪声样本数据按照预设比例混合形成混合语音样本数据；对所述混合语音样本数据、所述历史环境特征数据分别进行特征提取，得到混合音频特征和环境特征；对所述混合音频特征和所述环境特征进行融合，得到融合特征；将所述融合特征作为输入，语义数据作为输出，对循环神经网络进行训练，得到语音识别模型。