摘要
本发明公开了一种基于多模态智能算法的野外急救数据处理方法、设备及介质,方法包括:获取野外急救数据,包括伤口图像数据和伤情描述语音数据;通过伤口分类模型对伤口图像数据进行分析确定伤口图片分类结果,同时将伤情描述语音数据转化为文字并通过大语言模型进行文本修正;将修正后的文本与伤口图片分类结果进行比对,结果一致时进行信息融合;将融合后的信息作为多模态大模型的输入,并融合检索增强生成方法准确输出处理结果。本发明能够融合多种数据源、具备自主决策能力,对于提高野外急救的效率和准确性具有重要意义。
技术关键词
多模态
数据处理方法
智能算法
生成方法
图像特征向量
Softmax函数
大语言模型
超分辨率技术
更新模型参数
文本
图片
多层感知器
语音
处理器
注意力机制
传播算法
图像分割
计算机设备
系统为您推荐了相关专利信息
遥感分类方法
协方差特征
通道注意力机制
分层编码方式
影像
大语言模型
数据处理方法
知识图谱驱动
模态特征
文本
跨模态
对齐方法
交叉注意力机制
条件随机场
文本编码器
衣物图像
适配器
多模态注意力
虚拟换装方法
变压器