一种基于多模态模拟信号融合处理的端到端光计算芯片

本发明公开了一种基于多模态模拟信号融合处理的端到端光计算芯片，属于光计算技术。包括多模态输入融合前端模组、光纤输入接口和端到端推理模组。多模态输入融合前端模组可将图像、光谱、射频等不同类型的原始模拟信号转换为统一的宽带光谱输入信号。端到端推理模组则构建了一个深度光学神经网络，其中包含了由阵列波导光栅(AWG)实现的“传感‑卷积一体化”单元。端到端推理模组还中还包含了光电非线性‑池化一体化单元，不仅同时实现了平均池化与非线性激活功能，并通过所述供给光源的注入有效补偿光路损耗。最终，经过多层处理后的信号由全连接层进行整合，并由输出层输出分类结果。该芯片架构实现了多模态模拟信号的直接高效处理。