标题:基于光流估计和核估计结合的4K视频插帧 作者:冯子威1 宁欣1;丁友东1,2 作者单位:1 上海大学上海电影学院,上海 200072;2 上海电影特效工程技术研究中心,上海 200072 关键字:视频插帧;深度学习;光流法;4K视频 摘要:为了满足观众日渐增长的对于超高清分辨率下帧率的需求,视频插帧技术成为了提升视频帧速率的主要手段之一。目前多数视频插帧技术取得了不错的效果,但由于缺少4K视频数据集,这些方法对超高清视频的处理并不理想。为了解决上述问题,创建了一个超高清视频数据集UHD4K120FPS。同时,针对4K视频,提出一种联合基于核估计和光流估计的视频插帧模型。具体来说,两个输入帧分别通过输入核估计子网络和光流估计子网络,提取核估计和光流估计的特征,将提取的特征经过处理后输入后处理融合子网络,通过立方卷积翘曲和多次卷积输出最终的结果。在不同的数据集上进行了训练和验证测试,实验结果表明,与其他主流方法相比该方法可以获得更好的插帧效果。同时,提出的数据集相比其他数据集也能获得更好的插帧结果。 |