基于人群识别的声音波束成形指向控制方法及其相关设备

本申请涉及声音波束控制技术领域，提供了一种基于人群识别的声音波束成形指向控制方法及其相关设备。通过对多模态传感器数据进行时空同步采集以及标定获得时空对齐的原始数据集，以对原始数据集进行分层信号增强获得视觉特征张量以及音频特征张量，从而根据视觉特征张量进行密集人群检测以及跟踪获得目标人群时空轨迹矩阵，并结合音频特征张量进行声源定位以及波束权重计算获得波束成形权值向量，进而结合所述多模态传感器数据中的环境参数进行多约束动态优化获得自适应控制参数集，最终结合扬声器序列进行实时波束合成获得定向声场输出信号。本申请通过对多源数据进行目标检测、声源定位以及动态自适应控制相结合，实现动态调整波束方向。