一种面向医疗的少样本多模态细粒度实体分类方法及系统

本发明涉及电数字数据处理技术领域，尤其涉及一种面向医疗的少样本多模态细粒度实体分类方法及系统，方法包括如下步骤：构建少样本训练集、少样本验证集及少样本测试集，并扩充文本信息得到扩充训练集；获得句子的文本表征；获得图像的全局视觉表征、局部对象表征及跨模态语义表征；获得优化后的单模态表征；获得多模态融合表征；计算每个细粒度实体类别的预测概率及二元交叉熵损失；进行迭代优化训练，直至达到设定次数，在少样本验证集上进行性能验证，在少样本测试集上开展最终效果评估。本发明提供的方法及系统通过有效地抽取层次化多模态特征提升细粒度分类的性能，可为医疗领域提供更加精确可靠的实体分类技术。