本文提出了一种跨域引导扩散模型，用来从单张野外图片生成具有高保真度的UV纹理图，并将模型嵌入到FFHQ-UV框架中，以重建高保真3D人脸纹理。由 图1 可知，我们主要解决了两个关键问题：1) 使用原始图片空间中的真实纹理分布来引导UV空间中UV纹理图的生成，具体的实现方法是设计了一种两阶段训练方式，分别使用原始图片空间中的人脸图片和UV纹理图训练模型，缓解了仅使用合成UV纹理数据集训练模型时带来的个性化细节缺失问题；具体来讲，我们在第一阶段使用原始图像空间中的人脸数据集训练模型，使模型学习到纹理的真实分布，增强模型捕获个性化细节特征的能力；由于第一阶段中模型已经学习到了真实纹理的分布情况，那么在第二阶段中，我们冻结了大部分参数，然后使用UV空间中的UV纹理数据集训练剩余参数，使模型进一步拟合三维人脸的拓扑结构，以更好的适应现阶段的任务。2) 引入跨域细节先验特征，将空间域中的像素级信息和频域中不同方向的高频细节信息编码为高级语义条件，用来引导扩散模型捕获并重建出更加精细的纹理细节；即将空间域中的原始图片和经过小波分解后的频域信息作为显式的细节引导，并经过encoder编码为语义信息作为引导扩散的条件先验，其中空间域中的原始图片提供了像素级别的语义信息，在频率域中我们引入中高频细节语义信息以实现精细细节的扩散引导。下面将详细介绍所提出的解决方法。

现有开源UV纹理数据集大多是学者们使用模型人为创造出来的，由于缺少真实标签的监督其与真实UV纹理相比必然存在较大的误差，从而导致模型学习到错误的纹理分布。例如成等人 [12] ，仅使用人造UV纹理数据集训练扩散模型，使得模型无法捕捉到真实纹理中的细微差异，导致模型生成的结果缺乏个性化细节。基于以上观察，我们提出使用原始图片空间中的细节纹理来引导UV空间中UV纹理图的生成，并设计了一种两阶段的训练方式，分别在原始人脸数据集和合成的UV纹理数据集中学习真实纹理的非线性分布以及对应拓扑结构下UV纹理图的整体分布。具体来讲，在第一阶段我们借鉴diffae [13] 构建了一个自动编码器，并在FFHQ人脸数据集 [14] 下进行训练，然后将原始图片编码为512维度的语义向量 $Z_{img}$，并将其作为扩散先验条件与随机采样得到的噪声图 $X_t$一起输入去噪扩散隐式模型(ddim) [15] 执行逆向去噪过程，进而生成由语义向量 $Z_{img}$引导生成的人脸图片。我们的条件DDIM解码器接受

输入 $z=\left(Z_{img},x_T\right)$以生成输出图像，它通过以下逆向(生成)过程建模 $p_{\theta }\left(x_{0:T}|Z_{img}\right)$，具体的参数设置和公式推导请参考diffae [13] ：

$p_{\theta }\left(x_{0:T}|Z_{img}\right)=p\left(x_T\right)\underset{t=1}{\overset{T}{{\displaystyle \prod }}}{p}_{\theta }\left(x_{t-1}|x_t,Z_{img}\right)$ (1)

然后我们将训练好的ddim嵌入到FFHQ-UV框架中作为UV纹理生成器得到结果 图2(b) ，我们惊奇的发现虽然生成的结果无法很好的拟合三维人脸的UV拓扑结构，但是却能捕捉并生成更为精细且个性化的细节特征，且这种细节特征与仅使用人造UV纹理数据训练的UV纹理生成器所得到的结果( 图2(c) )相比具有明显的优越性。鉴于以上实验结果的观察，我们引入了第二阶段的训练。具体来讲，我们冻结第一阶段中的部分参数，并使用人造UV纹理数据集训练剩余的参数，以期在保留模型生成精细细节的同时进一步拟合对应三维人脸拓扑结构下的UV纹理分布。最终结果如 图2(d) 所示，其既保留了捕捉和生成精细纹理的能力又能较好的拟合三维人脸的UV拓扑结构，有效的证明了原始图片空间中的细节纹理能较好的引导UV空间中精细纹理的生成。

由于训练资源和可用数据集的限制，我们无法使用较高分辨率(例如1024*1024或者512*512)的数据集训练所提出的模型，导致模型无法很好的捕捉和生成中高频纹理细节，这极大的影响了UV纹理图的保真度，所以需要输入更多的中高频细节特征增强模型对精细细节的敏感度。我们设计了一种跨域信息提取模块，可提取不同目标域(空间域和频域)中的细节特征，进而引导更加精细的细节生成。如 图1 所示，基于空间域中像素级信息的引导，我们将图片输入到encoder中，并将其编码为512维度的语义向量 $Z_{uv}$。基于频率域中不同方向高频细节信息的引导，我们将小波变换嵌入网络结构，并提取三个方向的高频子图作为高频细节信息，并且使用sumpooling将三个高频子图融合为原始高频信息，然后我们使用encoder将其编码为512维度的语义向量 $Z_{wav}$。对于提取到的细节语义信息 $Z_{uv}$和 $Z_{wav}$，我们将其作为扩散先验条件与随机采样得到的噪声图 $X_t$一起输入ddim执行逆向去噪过程，进而生成由跨域细节先验引

导生成的高保真UV纹理图。我们的条件DDIM解码器接受输( $z=\left(Z_{uv},Z_{wav},x_T\right)$以生成输出图像，它通过以下逆向(生成)过程建模 $p_{\theta }\left(x_{0:T}|Z_{uv},Z_{wav}\right)$，具体的参数设置和公式推导请参考diffae [13] ：

$p_{\theta }\left(x_{0:T}|Z_{uv},Z_{wav}\right)=p\left(x_T\right)\underset{t=1}{\overset{T}{{\displaystyle \prod }}}{p}_{\theta }\left(x_{t-1}|x_t,Z_{uv},Z_{wav}\right)$ (2)

我们的模型在两个公共数据集上进行了训练，分别为原始图片域中的2D人脸图片数据集FFHQ [14] 和基于此数据集人为合成的UV空间中的UV面部纹理数据集FFHQ-UV [11] 。其中，第一阶段使用FFHQ数据集进行训练，将其中80%的数据作为训练集，其余作为测试集便于后续测试实验结果，我们采用和diffae相同的参数设置，batch_size为16，时间步长设置为T = 15，epoch为1000，学习率为0.1，采用ADAM优化器进行优化；第二阶段使用FFHQ-UV数据集进行训练，为了尽可能保留模型对精细细节的捕捉和生成能力，我们冻结部分参数后继续训练，并且降低了迭代次数，此时的epoch设置为100，其他参数不变。我们所有的训练过程均在配备了NVIDIA 3090 GPU的计算机上进行。

我们将所提出的方法与目前最先进的方法进行了比较，包括 FFHQ-UV [11] 和成等人提出的最新工作 [12] 。为了进行公平的比较，我们使用了他们公开发布的模型和代码，并在FFHQ测试集上进行了实验。 图3 和 图4 展示了基于单张2D人脸图像重建的3D人脸纹理的比较结果。在 图3 中，a为原始人脸图片，d为使用本文方法的重建结果，其中d3为生成的UV纹理图，d2为渲染后的三维人脸，d1为将渲染后的三维人脸投影到二维图片中的结果展示，用于和原始输入图片进行更为直观的视觉对比。由图可以得出，我们的方法相较于FFHQ-UV ( 图3b )和成等人的方法( 图3c )，显著的捕捉和生成了具有中高频细节的UV纹理图和3D面部纹理，特别是在恢复一些精细细节方面，我们的方法明显优于现有的SOTA方法。另外，由于引入了高频细节特征，我们的模型增强了对高光信息等高频细节的感知能力，使得我们的模型生成了更加逼真的光照效果，例如 图4 第四行中d1和d2的额头部分，我们的结果更加接近输入图像中的光照结果。

为了评价人脸纹理的重建精度，我们使用SSIM [16] 、PSNR和LPIPS [17] 作为评价指标，与最先进的方法进行比较。为了进行公平的比较，我们在FFHQ测试集中随机挑选出300张无遮挡的人脸图片用于定量评估，并使用其公开发布的模型和代码计算相关分数。 表1 展示了在FFHQ测试集上进行纹理重建的定量比较结果。可以观察到，我们的方法在所有指标中均处于领先地位，这进一步证明了所提方法在高保真3D面部纹理生成方面的优越性能。