提出了一种新的方法来逼近人脸网格的变形。其思想是利用粗糙模型和细化模型来逼近网格变形。

如图二所示，将绑定参数作为卷积网络的输入，并为每个网格段生成变形图（变形映射）。通过对纹理坐标空间中的每个顶点位置的变形图进行双线性插值以提取顶点偏移量。这些顶点偏移量被应用到中性姿势，以达到期望的变形。其中，细化模型只使用高频顶点的一个子集。

图三所示为对粗糙模型和细化模型的细节表述。除了最后一层使用1x1核外，所有卷积都使用3x3核。除最后一层外的所有层都使用了 Leaky ReLU 激活函数，最后一层没有使用激活函数。所有非稠密层在图像平面上均为正方形。上采样通过最近邻插值实现。

3 FACIAL APPROXIMATION

给定一个具有多边形网格的人物面部轮廓图，令 $\mathbf{V}$ 表示 $\mathbf{|V|}$ = $n$ 个顶点的网格顶点坐标集合。令p表示角色的rig参数， $\mathbf{V}=r(p)$

文中方法利用了艺术家创建的面部网格的纹理坐标 $\mathbf{U}\in\mathbb{R}^{n\times2}$

模型分为两个阶段。粗近似和精近似（图二）。粗近似操作在整个网格上进行。为了确保模型快速执行，粗近似由多个CNN组成，负责输出低分辨率形变。这种粗近似形变所输出的低分辨率形变结果中的高频细节被丢失。为了处理这种细节损失，作者提出了一个由另外的CNN组成的精化近似，输出更高分辨率的形变图。这些模型只关注网格的顶点密集区域来近似这些高频变形。为了进一步提高模型的效率，作者确定了网格中只发生刚体旋转和平移的区域。这些片段用更快的刚性近似代替更复杂的CNN近似。

3.1 Coarse Model

粗糙模型（coarse model）通过首先为面部绑定（facial rig）中的每个网格片段生成变形映射（deformation map），然后通过这些映射计算顶点位置，从而得到变形后的网格。

函数 $I_k=f(p;θ_k)$

由于每个顶点都被分配到单个的网格片段，所以整个网格的顶点偏移量由每个网格片段的偏移量拼接得到，使得 $\Delta=\cup_{k\in\{1,...,m\}}\Delta_k$

给定公式下式，以寻找最优的模型参数 $θ_k$

3.2 Refinement Model

并不是每个顶点都被分配到细化阶段的网格段中。只有近似误差较大的网格区域中的顶点被划分为网格段。

$\delta_{k'}=\mathbf{g}(\mathbf{f}(\mathbf{p};\theta^r_{k'});\mathbf{U}^\prime)$

其中，用 $\delta_{k'}$

该阶段中，不包含在任何网格片段中的顶点的细化近似被设为0.

3.3 Refinement Boundary Selection

如何确定要用于细化的顶点集呢？

文中给出的方法是，针对每个顶点估计了在粗糙变形图分辨率和每个网格片段的纹理坐标下的 最小逼近误差 。接下来，对纹理坐标进行 聚类 ，其中每个顶点的权重由其估计的逼近误差决定。聚类中每个簇附近的顶点成为细化模型的网格片段，而远离簇中心的顶点在细化步骤中被省略。