审讯笔录与录音录像的联动方法及系统

本发明提供一种审讯笔录与录音录像的联动方法及系统，属于信息处理技术领域，包括：获取审讯的笔录文本数据和分段的录像数据，分别标注类别标签；对笔录文本数据进行语义提取，获取语义特征信息，将特征信息转换为文本语义特征向量；对录像数据进行帧提取，提取录像数据每帧的图像特征，进行相似度筛选，并转换为关键帧语义特征向量；构建跨模态嵌入空间模型，将类别标签的文本语义特征向量和关键帧语义特征向量分别通过两个编码器进行编码后拼接融合获得融合特征向量，并转换映射到共享层中，完成的笔录文本数据和分段的录像数据的特征关联，后续用于跨模态搜索。该方法通过笔录和录像信息的语义特征向量的关联，实现跨模态信息关联，为后续快速调用和研判提供基础。