2023年度  第5期


标题:基于部位分割的单视图三维重建
作者:李森涛1,2 万旺根1,2 胡文博1,2;孙学涛2;王旭智1,2;张振3
作者单位:1 上海大学通信与信息工程学院,上海 200444;2 上海大学智慧城市研究院,上海 200444;3 上海交通大学医学院附属仁济医院宝山分院,上海 200444
关键字:单视图;三维重建;部位分割;可变形卷积
摘要:从单张照片中恢复物体的三维形状及其纹理贴图是一项具有挑战性的工作。提出了一种基于部位分割的单视图三维重建算法,该算法不需要三维监督、手动注释关键点、重建物体的多视图图像或者相应的三维模型。该算法结合可变形卷积网络来预测相机参数、变形参数和纹理参数。同时,采用自监督的方法,使用大量特定类别的图像,来学习部位分割。这样可以有效地增强重建模型和原始图像之间的语义一致性,并且可以提高重建物体相机参数、形状和纹理之间联合预测的精度。使用CUB_200_2011鸟类数据集对算法进行验证,实验结果证明,该算法在重建精度上有较大提升,优于目前的先进方法。