一种基于视觉模型和大模型的痤疮检测与护理建议生成方法

本发明公开一种基于视觉模型和大模型的痤疮检测与护理建议生成方法，该方法包括下述步骤：采集含有痤疮的人脸可见光图像并标注痤疮，进行数据扩充及预处理；基于MBconv和Block Attention模块搭建YoLoX目标检测网络并进行训练；基于Transformer Block搭建Unet++图像分割网络并进行训练；基于痤疮区域和各人脸区域提取痤疮特征信息；基于痤疮专业护理知识搭建向量数据库并获取向量数据库检索所得知识条目；基于痤疮特征信息与向量数据库检索所得知识条目构建输入Prompt；微调部署本地大模型生成个性化痤疮护理建议。本发明能精确捕捉提取输入皮肤图像的痤疮信息，提供个性化护理建议。