多模态大模型辅助腹腔镜软组织配准手术导航方法及系统

本发明公开了一种多模态大模型辅助腹腔镜软组织配准手术导航方法及系统，该方法包括：获取术前的CT或MRI图像和术中腹腔镜图像并转换得到多模态特征序列；将得到的多模态特征序列输入大模型融合，得到跨模态匹配矩阵；使用RANSAC随机采样一致算法随机采样，采用欧氏距离度量两数据对应点集间的误差，通过SVD分解求得解析解并引入特征匹配误差得到最佳刚体变换位姿；采用参数化的形变模型结合学习预测形变对最佳刚体变换位姿残差进行非刚性形变的局部拟合调整，循环执行得到软组织器官实时配准图像；在多模态、多变量条件下实现软组织的自动、高时效性、高精度实时配准，确保在复杂手术环境中提供可信的导航定位支持。