摘要
本申请提供了跨模态医学信号的处理方法、装置、电子设备及存储介质,包括:将经过多个第一导联采集到的多个原始医学生理信号输入至医学信号基础大模型之中,基于掩码自动编码器网络层以及对比学习自监督网络层对每个原始医学生理信号进行时序特征提取以及语义特征提取,确定出第一特征;将下游处理任务的经过多个第二导联采集到的新模态医学生理信号输入至医学信号基础大模型之中,确定出多个第二特征;对多个第一特征以及多个第二特征进行跨模态相似性匹配处理,确定出跨模态拼接特征,以使利用跨模态拼接特征对下游处理任务自动处理。通过多路径预训练的灵活配置与精准局部适配机制,显著提升跨模态分析效率与模型泛化能力。
技术关键词
医学
自动编码器
生理
信号
跨模态
语义特征提取
时序特征
特征提取模块
机器可读指令
编码特征
基础
电子设备
切片
处理器
可读存储介质
样本
特征提取器