跨模态的任务识别方法、装置、设备及介质

本发明公开了一种跨模态的任务识别方法、装置、设备及介质。所述方法包括：将获取的采集图像与文本内容通过预设编码器进行特征转换与拼接，生成图像与文本的融合特征向量；根据所述融合特征向量通过预设动态更新方法将多模态聚类中心进行更新，获取新聚类中心；将所述融合特征向量与所述新聚类中心通过预设聚类算法进行特征聚类，获取聚类中心向量；将所述聚类中心向量通过预设神经网络子模型与预设门控网络生成目标任务识别结果。通过实施本发明的方法可解决现有技术无法有效将多种模态的信息进行融合的问题，从而实现高效准确的医学诊断。