摘要
本发明涉及医疗图像处理技术领域,特别涉及基于视觉‑语言大模型的经食道医疗图像分析系统,包括:自然语言文本生成模块,用于将输入的经食道医疗图像进行识别并生成与图像相关的文本提示数据;文本提示处理模块,用于对所述文本提示数据进行处理,提取文本提示数据中的关键信息,并构建一个关键信息库数据;多模态大模型学习模块,用于将所述关键信息库数据与经食道医疗图像进行跨模态关联学习,输出对经食道医疗图像的分析结果。该模型通过同时处理图像和相应的文本提示融合学习,能够理解图像中的特征与文本提示之间的对应关系,从而输出精确的经食道医疗图像分析结果,有效减少了医生在图像分析过程中的工作负担,显著提升了诊断效率。
技术关键词
图像分析系统
图像分析方法
跨模态关联学习
自然语言文本
视觉特征
多模态
数据
医疗图像处理技术
文本编码器
序列
模块
特征提取器
对象
解码
参数
分词
系统为您推荐了相关专利信息
指令序列生成方法
强化学习模型
环境状态信息
多模态传感器
障碍物
查询特征
跨模态
定位方法
解码模块
特征提取模块