一种基于语音手势交互技术的诊疗辅助系统与方法

本申请属于人机交互技术领域，公开了一种基于语音手势交互技术的诊疗辅助系统与方法，该系统包括：语音识别模块，用于采集语音信息；将语音信息转化为文本信息；将文本信息输入大语言模型，得到语音系统指令并发送至数据处理与交互模块；手势识别模块，用于采集诊疗场景信息；识别诊疗场景信息中的预设操作手势；将预设操作手势映射为手势系统指令并发送至数据处理与交互模块；数据处理与交互模块，用于接收并执行语音系统指令或手势系统指令；根据语音系统指令或手势系统指令生成调取指令并发送至网络通信模块；将接收到的病历资料数据转换为显示格式的诊疗数据；网络通信模块，与医院信息系统连接；用于在接收到数据处理与交互模块的调取指令后调取病历资料数据，并发送至数据处理与交互模块；显示模块，用于展示诊疗数据。本申请解决了医生在诊疗过程中由于无菌原则而不方便操作计算机查看患者资料的问题，提高诊疗效率，有利于感染控制，符合无菌原则。