摘要
本发明涉及一种基于多模态大模型的心脏冠状动脉钙化分数的预测方法及系统。所述方法包括:获取心脏及其他目标体位的冠状动脉造影视频,提取出各视觉特征向量;在文本提示中进行体位标记并分词后输入到大语言模型中进行编码,不同体位对应的视觉特征向量替换对应体位标记,得到视觉文本交织数据;利用各个归一化函数对初步钙化分数进行拟合,使用目标归一化函数的反函数对初步钙化分数进行反变换,得到预测钙化分数。通过融合心脏及其他体位的视觉特征向量,利用不同模态的信息及其多个模态之间的互补信息;对初步钙化分数进行归一化处理并进行反变换,提高了回归预测的稳定性与精度,可以定量预测心脏冠状动脉钙化程度。
技术关键词
冠状动脉钙化分数
冠状动脉造影
视频编码器
文本
心脏
多模态
大语言模型
深度编码
标记
分词
生成视频信息
视觉特征
数据
序列
预测系统
编码模块
视频帧