尽管在技术上取得了无数的成就,但是创造逼真的面部动画仍然是计算机图形学的挑战。
一是整个面部表情包含了完整面部各部分之间的相互关系,面部运动和语音之间的协同是一项艰巨的任务,因为面部动态在高维多重影像中占主导地位,其中头部姿势最为关键。
二是多个说话人会有不同的说话方式,控制嘴唇一致,不足以了解说话的人的性格,还要表达不同的个性。
针对上述问题,Yang Zhou博士和他的团队提出了一种具有深度结构的新方法「 MakeItTalk」。
这是一种具有深度架构的新方法,
只需要一个音频和一个面部图像作为输入,程序就会输出一个逼真的「说话的头部动画」。
下面,我们就来看看,MakeItTalk的是如何让图片「说话」的。
(5)嘴唇的大小和形状随着眼睛、鼻子和头部的运动而扩大,这取决于谁说了这个词,也就是说话人身份。
(6)最后,为了生成转换后的图像,
MakeItTalk采用了两种算法进行标记到图像的合成:
对于非真实感的图像,如画布艺术或矢量艺术,一个特定的畸变方法是在 Delaunay triangulation 的基础上部署;
对于真实感图像,构建一个图像到图像的转换网络(与 pix2pix 相同) ,直接转换自然人脸。
最后,混合所有的图像帧和音频共同生成头部动画。
作者简介
该项目的作者本科毕业于上海交通大学电子工程系,然后在乔治亚理工学院获得了硕士学位,现在是马萨诸塞大学阿默斯特分校计算机图形学科学研究小组的一名计算机科学博士生。