基于多模态数据的健康状态分类方法、系统、设备及介质

本发明公开了一种基于多模态数据的健康状态分类方法、系统、设备及介质，其涉及健康状态评估与分类技术领域，其目的在于解决现有模型在进行身体健康识别、分类时存在参数量大、模型在复杂任务中表现能力有待提升，难以满足对多模态数据进行健康状态分类的需求的技术问题。其分类网络模型的多模态融合编码器是在经典的transformer模型的基础上，将创新的多模态注意力模块改进到transformer模型的多头注意力中得到多模态注意力子模块，并在多模态注意力子模块与前馈网络之间引入一个卷积子模块，这样可以显著提高transformer内单个编码器的特征学习能力，从而减少transformer内编码器的数量，以在保证模型性能的前提下最大程度地减少模型参数量。