一种基于深度学习的多模态皮肤疾病分析方法

本发明涉及一种基于深度学习的多模态皮肤疾病分析方法，涉及辅助诊断技术领域。本发明利用光声成像设备扫描，皮肤镜拍摄皮肤疾病患处，以获取患处光声成像数据和皮肤影像；将光声成像对齐皮肤影像，按皮肤影像空间填充，而后与皮肤影像结合得到多模态皮肤数据；构建并预训练基于多模态皮肤数据的皮肤分析模型；预训练的皮肤分析模型分析采集的多模态皮肤数据获取皮肤疾病分析结果。本申请构建多模态皮肤数据，提供多元数据支持，确保疾病分析准确可靠。皮肤分析模型提取不同尺度皮肤影像特征图和光声成像特征图，以覆盖不同大小特征和不同规格皮肤疾病之间的关联；用另一模态数据强化自身模态，更好的结合两个模态特征；且可解释性强。