医疗辅助用字幕生成模型的构建方法、装置、设备及介质

本发明涉及数字医疗技术领域，尤其涉及一种医疗辅助用字幕生成模型的构建方法、装置、设备及介质。该方法使用编码器提取听障测试音频的音频特征，将音频特征和噪声信息融合，使用解码器解码融合结果，得到初始生成字幕，使用自然性鉴别器对初始生成字幕的自然性预测，得到第一预测值，使用语义鉴别器对初始生成字幕和听障测试音频的语义相关性预测，得到第二预测值，计算初始生成字幕和标签字幕的相似度，根据第一预测值、第二预测值和相似度，更新编码器和解码器，由更新好的编码器和解码器形成字幕生成模型，通过多维度监督，提高了神经网络进行生成字幕的仿真程度，通过加噪方式令生成字幕具备多样化特点，提高听障患者获取音频信息的体验。