一种面向病理全切片的语言大模型的多模态信息融合方法、系统、设备及介质

一种面向病理全切片的语言大模型的多模态信息融合方法、系统、设备及介质，其方法通过对病理图像进行分割与处理，得到病理图像区域块局部表示的编码向量：将得到病理图像区域块局部表示的编码向量输入病理图像信息混合注意力层融合获得病理图像全切片的表示向量；再将得到病理图像全切片的表示向量与大语言模型的文本向量通过交叉注意力机制实现多模态融合；其系统、设备及介质基于所述的面向病理全切片的语言大模型的多模态信息融合方法，根据病理图像信息与使用者输入的文本信息进行多模态信息融合；本发明有助于辅助医生进行更快速、更准确的病理判断。