基于事件的唇读方法、装置、设备和存储介质

本申请涉及一种基于事件的唇读方法、装置、设备和存储介质。该方法包括：通过事件相机采集唇部序列图像的原始事件流；从而可以以微秒级时间分辨率异步记录每个像素的亮度变化，实现超低延迟、高动态范围和稀疏数据表示。基于体素的表示方法将原始事件流转换为帧状事件张量，得到体素化的事件体；通过基于事件的唇读模型中的前端网络对体素化的事件体进行空间特征提取，得到多尺度空间特征；通过基于事件的唇读模型中的后端序列模型对多尺度空间特征进行时间依赖性建模，得到序列编码；从而可以融合空间和时间特征，提高序列编码的准确性和稳定性。根据序列编码确定唇读识别的内容。从而可以实现唇部运动的稳定识别，提高唇读准确性。