一种基于毫米波雷达的手语识别交互方法及其装置

本发明公开一种基于毫米波雷达的手语识别交互方法及其装置，包括以下步骤：S101获取带有真值标签的毫米波雷达回波手语数据集；S102通过预先训练的基于神经网络的手语动作识别网络对输入谱图进行处理，输出离散手语词汇；S103根据采集好的语句库，通过文本分类模型，将输出的离散手语词汇进行处理，完成文本分类，输出完整句子，进行语音播报；S104进行语音转文本，并显示在屏幕上。本发明的手语识别交互方法及其装置，能够整理句子语序，并增设了语音播报功能，以模拟听人的谈话过程；此外，装置还具备语音识别功能，使聋人能够看到听人的表达内容，从而实现完整的交谈过程。