摘要
本发明提供一种AI平台下多模态问题的路由方法、介质及系统,属于多模态问题方法技术领域,本发明通过接收多模态输入数据,利用大语言模型处理文本和语音信息提取初始语义特征,采用多模态意图融合模型处理各类模态数据计算意图识别置信度,基于置信度差值计算意图识别增益向量并融合用户历史数据生成上下文特征向量,以用户问题为中心构建包含意图和实体节点的问题图,并优化路由路径,使用知识蒸馏训练的轻量型模型进行意图加强处理生成优化图结构,结合服务模块负载状态确定最终路由决策,解决了多模态输入数据在路由决策过程中模态间信息融合不充分导致路由准确性低下的技术问题。
技术关键词
意图识别
语言声音
多模态
可读存储介质
平台
节点
大语言模型
知识蒸馏技术
计算机
轻量型
有向图结构
文本
意图类别
决策
深度学习模型
语义结构
数据
遍历算法
系统为您推荐了相关专利信息
异构数据处理
信息交换模块
信号处理模块
人机交互模块
平台