一种基于视觉和语言的X光片分析方法及装置

本申请属于计算机视觉技术领域，具体公开了一种基于视觉和语言的X光片分析方法及装置，方法包括利用视觉编码器提取待分析X光片的图像特征，并利用文本编码器提取待分析X光片的文本特征；获取可学习的查询向量，将所述图像特征、文本特征以及查询向量输入至训练好的大语言模型中，通过所述大语言模型的注意力层对查询向量、图像特征以及文本特征进行跨模态交互，得到融合后的跨模态特征；基于所述跨模态特征进行识别分析，得到待分析X光片图像和文本的分析结果。通过本申请，可提高X光片分析结果的准确性。