realtime 2D到3D人脸:使用深度学习从2D图像重建实时3D人脸 源码

实时2D到3D面Kong 介绍 在该项目中,已经使用深度学习使用2D图像建立了能够重建实时3D人脸的基础架构。 给定视频流,我们将使用学习的模型处理每个帧,并使用WebGL Studio平台可视化3D人脸的重建。 该项目的主要目标之一是获得一种中间表示形式,该中间表示形式可以有效地发送面部数据以用于视频会议。 为了获得该表示,已经创建了表示希望考虑的所有可能的3D配置的PCA模型。 为此,已使用AFLW2000-3D数据集并将其与3DDFA库一起处理以获得相应的3D面部点云。 创建模型后,将使用Resnet架构训练神经网络,其中输入数据是用于学习PCA模型的2D图像,输出数据是通过PCA学习