一种跨模态外耳区域分割与关键点定位方法和系统

本发明提供一种跨模态外耳区域分割与关键点定位方法和系统，包括：获取待分割定位的多模态外耳数据并输入多模态外耳区域分割与关键点定位多任务端到端模型，模型包括各模态数据特征提取模块、模通汇聚模块、视域联通模块、区域分割头和关键点定位头；各模态数据特征提取模块，将各模态特征提取出来；模通汇聚模块，利用图像特征去增强体素特征和深度图特征；视域联通模块，对三维的点云特征、图像增强的体素视图特征、图像增强的深度图特征进行三模态聚合，得到聚合的视域联通特征；区域分割头，对聚合的视域联通特征进行区域分割；关键点定位头，对聚合的视域联通特征中的体素特征进行关键点定位。本发明可以对外耳进行区域分割与关键点定位。