标题：单目实时全身联合动作捕捉系统设计与实现
作者：黄东晋1，2；俞乐洋1 马雨奇1 王艳丽1
作者单位：1 上海大学上海电影学院，上海 200072；2 上海电影特效工程技术研究中心，上海 200072
关键字：单目RGB相机；全身联合动作捕捉；移动端；实时
摘要：单目全身联合动作捕捉是计算机视觉领域一项非常具有挑战性的任务。传统单目全身联合动捕方法专注于提升在复杂环境中的动捕准确性，却忽视了其在实际应用中的实时性需求。此外，由于缺乏带有人脸表情标签的大规模数据集，传统单目全身联合动捕方法难以准确捕捉人脸表情细节。因此，基于单个单目RGB相机，设计并实现了一种能够在移动端对人的身体、手部和面部进行实时联合动作捕捉的纯视觉动捕系统。在身体和手部姿态估计方面，采用Mediapipe机器学习框架，基于其在运算速度和跨平台支持等方面的出色表现，系统可以在移动端实现准确且实时的三维人体和手部姿态估计；在面部表情捕捉方面，采用一种具有情绪感知能力的轻量级卷积神经网络来实时地从输入人脸图片端到端回归人脸表情和头姿系数。实验结果表明，该系统基于移动端单目RGB相机可以实现人的身体、手部和面部表情的实时联合动作捕捉，并且全身动作捕捉效果逼真，面部表情捕捉准确。