摘要
本申请提供一种人机交互方法、装置及电子设备,用于改善运维人员进行运维的效率不高的问题。该人机交互方法包括:根据待处理的问题多媒体数据确定目标指令,并确定问题多媒体数据对应的上下文数据;根据所述问题多媒体数据、所述目标指令和所述上下文数据构建提示工程;使用多模态模型中的特征提取网络对提示工程中的文本数据、图片数据和/或视频数据进行特征提取,获得特征矩阵;将特征矩阵输入至多模态模型中的预训练大语言模型中,以使预训练大语言模型返回问题多媒体数据对应的回答数据。
技术关键词
多媒体
大语言模型
数据
分块
人机交互方法
特征提取网络
关键词
多模态
矩阵
文本编码器
机器可读指令
视频
事件特征
运维
语义特征
人机交互装置
资源库