摘要
本发明提供一种基于多模态数据的医疗实验流程优化方法及系统,首先获取目标医疗实验场景的多模态医疗数据集合,含影像、时序和文本模态数据且各有至少两个采集时间点记录,接着对多模态数据跨模态提取特征,经标准化对齐处理得标准化跨模态特征集合,基于动态权重调整策略,对不同模态特征加权融合生成目标融合特征集合,调用流程优化分析模型对其进行实验流程状态识别,得出包含设备操作、资源分配及数据采集时序调整参数的优化策略集合,最后将该优化策略集合输入预训练的流程执行验证模型进行可行性验证,输出验证后的执行参数并触发医疗实验装置执行优化操作,实现医疗实验流程的优化。
技术关键词
模态特征
多模态
融合特征
数据
跨模态
时序
文本
策略
动态权重分配
相关性分析模型
资源分配参数
时间同步
语义
时间序列预测模型
交叉注意力机制
影像采集模块
深度卷积网络