一种多模态数据采集的工程机械打击风险训练系统及方法

本发明公开了一种多模态数据采集的工程机械打击风险训练系统及方法，包括多模态数据采集模块、数据融合处理模块和风险识别评估模块；所述多模态数据采集模块用于实时采集工程机械操作环境中的数据，包括动作数据、图像数据、声音数据和惯性数据。本发明通过数据融合处理模块对采集到的多种模态数据进行标准化、归一化处理，消除量纲影响，使得不同模态的数据具有可比性，从每种模态的数据中提取有意义的特征，这些特征能够反映数据的本质信息和模态之间的关联性，通过使用多模态融合算法将不同模态的特征进行融合，能够考虑每种模态数据的重要性、相关性和互补性，生成一个综合的特征向量，进而实现了数据的有效融合，保证了模拟训练的效果。