基于大模型对骨肉瘤的定位及其描述系统

本发明公开了一种基于大模型对骨肉瘤的定位及其描述系统，其特征在于，包括：编码模块，直接使用mobileSAM模型的编码网络，基于所输入的肿瘤图像获得通用编码特征；解码模块，基于编码模块所获得的通用编码特征获得分割出来的掩膜，从而实现骨肉瘤的分割及定位；LSTM网络，采用LSTM网络的image caption图像描述，基于编码模块所获得的通用编码特征获得描述性语句，从而实现对肿瘤的描述。本发明可以解决目标级的语义分割(位置、大小)，并且能对分割出肿瘤进行描述(症状)。因此，采用本发明所公开的技术方案不仅可以实现肿瘤的定位分割，还可以对肿瘤进行一定的描述，从而进一步解放医生的工作量。