一种基于自然语言问答接口与大模型交互的界面系统及方法

本发明公开了一种基于自然语言问答接口与大模型交互的界面系统及方法，包括以下步骤，首先进行多模态信息交互，通过采用文本、声音、图像、视频、传感的多种模态方式进行自然语言信息交互；其中文本采用网页/APP、输入法、文件/媒体的方式进行交互，声音采用网页/APP、麦克风的方式进行交互，图像采用屏幕、手写笔的方式进行交互，视频采用屏幕、摄像头的方式进行交互，传感采用传感器的方式进行交互；从而理解并生成多模态大模型系统。通过使大模型采用模态交互方式，不仅可以支持自然语言的问答，也能对图像、动作、文字作出反馈。进而更好地理解用户意图、实现接近人类的复杂情境理解和反应，使交互过程更加人性化。