2021年度  第11期


标题:基于多尺度空间特征融合的三维重建
作者:赵锐1,2 万旺根1,2
作者单位:1 上海大学通信与信息工程学院,上海 200072;2 上海大学智慧城市研究院,上海 200072
关键字:三维重建;弱纹理问题;多尺度空间特征融合;门控循环单元网络
摘要:为了提高基于多视图立体匹配网络(MVSNet)的深度学习算法在弱纹理场景下的精准性,提出了一种基于多尺度空间特征融合的三维重建方法。首先利用金字塔特征提取网络(PFNet)训练图像序列的特征表示,得到特征图不同尺度之间的联系,使网络可以更好地捕获图像上下文信息;然后利用UGRU循环卷积网络计算出三维成本量,通过门控循环单元网络(GRU)和U-Net架构的结合使用,能够有效聚合不同尺度信息,并且提升弱纹理区域下的重建精度。使用DTU数据集进行验证,实验结果证明,相比目前先进方法R-MVSNet,该方法在精度方面有较大提升,尤其体现在弱纹理区域。