基于多模态融合与深度学习的健康数据分析方法及系统

本发明公开了一种基于多模态融合与深度学习的健康数据分析方法及系统，所述方法包括通过传感器及摄像设备采集用户多模态健康数据；采用渐进式融合方法对图像与文本数据进行特征融合，并输入改进的Hyper‑YOLO模型进行初步分类；若分类失败，则调用专用医疗器械检测；基于分类结果，通过iTrans‑GAHNet模型结合云端药品数据推荐适用药品，并显示用药确认界面；若用户选择“需要用药指导”，则提供剂量、服用时间指导；若选择“已知用药方法”，则结束流程；本发明通过二分类法将异常检测值与相关疾病匹配从而完成疾病诊断，能够快速处理大量数据，提升诊断速度和精准度，节省医疗资源，提高医疗服务效率。