标题：面向野外环境的多模态融合算法研究
作者：俞岭；丁园园 范裕莹
作者单位：装备发展部驻上海军代室，上海 200437；中国科学院上海微系统与信息技术研究所，上海 200000
关键字：野外监控网；目标识别；深度学习；多模态融合；特征提取
摘要：野外监控网通常是由多种传感器组成，单个传感器容易受到环境中各种动态因素的影响，导致目标识别效果不理想。为此，提出了一套基于深度学习的面向野外环境的多模态融合系统。所搭建系统可以分别提取图像、声音和震动三种模态信号的特征，并通过编解码模块对特征进行融合，得到一个鲁棒性和迁移性更高的特征。在此基础上，分类模块对融合后的特征进一步处理并提取更高层次的特征。在实验室所采集的图像、声音和震动数据上的实验结果表明，该系统各类别总体识别率基本都在95%以上，处理单条数据的时间为0.543s，可以达到实时性需求。同时，在多个场地上的实验结果也说明了该系统具有一定的迁移性。