摘要
本发明涉及一种基于多模态大语言模型的疼痛等级识别方法、系统、电子设备、可读存储介质,属于医疗数据处理技术领域。本发明包括步骤:将输入的面部表情图像采用视觉编码器ViT模型编码为视觉特征表示;对患者的临床文本数据使用大语言模型内置的文本编码器进行编码;使用模态对齐模块将视觉特征与文本特征进行对齐及拼接,生成融合特征:将融合特征经过Q‑Lora微调的大语言模型处理输出映射为每个疼痛等级的概率分布。本发明实现了面部表情与患者临床文本信息在语义空间中的精确对齐,显著提高了模型对复杂数据间关系的理解能力,对复杂或模糊的疼痛表达具有更高的识别准确性,对光照变化、语言缺失等情况的鲁棒性也得到了显著提升。
技术关键词
等级识别方法
大语言模型
视觉特征
多模态
文本编码器
融合特征
医疗数据处理技术
Softmax函数
对齐模块
人脸表情图像
电子设备
处理器
可读存储介质
患者
计算机程序产品
面部
识别系统
系统为您推荐了相关专利信息
生成方法
AR交互
心理状态评估
知识图谱构建
骨传导耳机
网络安全威胁
白名单规则
大语言模型
语义向量
历史告警数据
三维立体视觉
深度图
激光雷达
深度传感器
多模态
数据查询方法
语句
可视化参数
身份验证信息
电子设备