基于多模态时空融合与SE(3)流形优化的声纹持续跟踪系统及其跟踪方法

本发明公开了一种基于多模态时空融合与SE(3)流形优化的声纹持续跟踪系统及其跟踪方法，包括以下步骤：S1:获取来自部署在用户佩戴设备上的麦克风阵列的声学信号、来自惯性测量单元的惯性数据、以及可选地来自摄像头的视觉数据;S2:估计所述用户佩戴设备的实时位姿，所述位姿在SE(3)流形上表示;S3:定义声源的联合状态向量，所述状态向量包含声源在世界坐标系下的三维位置和声纹特征向量;S4:构建一个在SE(3)流形上运行的贝叶斯滤波框架，利用所述实时位姿。其结合波场合成理论和神经辐射场技术，构建扩展的声学NeRF模型，利用估计的声源状态和眼镜位姿，实时重建动态的全息声场和空间分布的声纹特征，并在 XR 设备中进行可视化的问题。