神经隐式表面(Neural Implicit Surface)为一种基于学习的隐式表面表示方法，其使用神经网络对输入的三维坐标点进行映射，得到对应的隐式表面表示，如符号距离场、占据概率等。DeepSDF [ 6 ] 、Occupancy Network [ 7 ] 等工作为使用神经网络拟合隐式表面的代表性工作，但这些工作均需要三维监督信息。随着神经辐射场(Neural Radiance Field, NeRF) [ 8 ] 的发展，许多工作通过扩展NeRF的体渲染管线来拟合对应的隐式表面，整个训练过程仅需要多视角图像与相机内外参数，使得这类方法的实用性大大提高。NeuS为其中的代表工作，其通过建立符号距离场(Signed Distance Field, SDF)与NeRF体渲染中权重函数的联系，使得可以在无需三维监督的情况下拟合出高质量的隐式表面。但是，由于NeuS仅采用位置编码与多层数的多层感知机(Multilayer Perceptron, MLP)进行拟合，整体训练速度较慢。一些工作受Instant-NGP [ 9 ] 的启发，通过离散参数化的数据结构进行插值，配合少层数的MLP，使得整体训练速度得到了提升。但这类工作对于具有高亮反射的物体依然难以正确拟合其几何，其原因是物体几何与高亮外观产生的模糊性使得在渲染监督的过程中难以辨别真实的几何形状。

基于神经辐射场(Neural Radiance Field, NeRF)的工作能够表达视角相关(View-Dependent)的物体外观，但对于拟合具有高光反射的外观，这些工作依然难以有很好的拟合效果。IDR [ 4 ] 提出了通过视角相关方向和法向量作为外观网络的输入以进行几何与物体外观的解耦，其展现出了一定的效果。Ref-NeRF更进一步，通过反射方向的重参数化，并且提出一种集成方向编码使得外观网络能够很有效地表达具有任意连续粗糙度材质的辐射函数，从而使得对高光物体外观的拟合有着很好的效果。但是，Ref-NeRF由于是扩展神经辐射场的工作，对输出的体密度进行等值面提取难以得到较好质量的几何。有许多工作尝试对高光物体进行隐式表面的拟合，如ENVIDR [ 10 ] 、Ref-NeuS [ 11 ] 、NeRO [ 12 ] 等。但是，这类工作仅简单扩展NeuS的体渲染管线，其对于隐式表面拟合时间依然较长。本工作引入渐进式多分辨率哈希编码来提升隐式表面的训练速度，通过提出一种混合辐射场与反射场的插值方法，可以很好地提升网络对于高亮物体外观的表达能力。同时，本工作通过引入一种渲染损失来缓解高光反射所带来的多视角不一致性，并且使用两种法向量的正则化来约束估计的法向量，使得可以很好地缓解多分辨率哈希编码这种离散数据结构在求导时所带来的噪声。

神经辐射场(NeRF) [ 8 ] 为一种连续的场景表达，其通过输入空间中的三维坐标点和对应的视角方向，输出该点的体密度和辐射值，利用体渲染(Volume Rendering)管线对每条光线的采样点的辐射值进行累积得到对应像素的颜色，从而实现高质量的任意视角的渲染。具体的，给定 N 张多视角图像和对应视角的相机内外参数，在不同视角中以相机原点向图像像素进行光线投射，并对每条光线进行采样，第 i 个采样点记为 x i ，即为空间的三维坐标点。通过对相机内外参数的计算得到对应的视角方向 d ，整体的神经辐射场的表达为：

F : ( x i , d ) → ( σ i , c i ) (1)

公式1中的 σ i 为光线上第 i 个采样点的体密度(Volume Density)， c i 为该采样点估计的辐射值，即该点的颜色。然后，NeRF通过简单的体渲染对整条光线的所有采样点颜色进行积分，其计算的值为对应像素的颜色值 C ^ ，具体的表示如下：

C ^ = ∑ i = 1 n T i   α i   c i ,         T i = exp ( − ∑ j = 1 i − 1 σ j   δ j   ) (2)

公式2中， T i   为前 i 个采样点的累积透射率，这里的 α i 为第 i 段采样间距的不透明度。对于整个训练过程的渲染监督，NeRF为粗阶段和精细阶段，每个阶段对于像素颜色的损失函数 L 均为L2损失， r 表示对应的光线， C ( r ) 表示对应光线的真实像素值，具体如下：

L = ‖ C ^ ( r ) − C ( r ) ‖ 2 2 (3)

然而，NeRF对物体表面缺乏明确的定义，NeuS等工作通过建立符号距离场(Signed Distance Field)与公式2的联系，从而可以通过体渲染管线来优化隐式表面。在NeuS中，公式1具体表示如下：

s i = MLP ( [ x i , PE ( x i ) ] ) (4)

c i = MLP ( [ PE ( d ) , e n c g , n ] ) (5)

NeuS [ 1 ] 中并不输出体密度 σ ，而是符号距离值。这里的 s i 为对应点的符号距离值，表示该点到物体表面的距离。PE表示位置编码(Positional Encoding)， e n c g 表示公式4输出的几何特征， n 为当前点的法向量，为该点符号距离场的导数。

图1. 网络架构图

本文方法提出了一种能够高效恢复高亮物体隐式表面，同时在新视角合成任务上也有出色性能的方法。如图1，整体的网络结构分为两个部分：(1) 几何网络(Geometry Network)；(2) 外观网络(Appearance Network)。

对于几何网络部分，本文采用渐进式的多分辨率哈希编码 γ 对三维坐标 x 进行插值，然后将插值好的特征体输入到一层的MLP中，通过Sigmoid函数输出估计的符号距离值。同时，单层MLP输出的几何特征为 e n c ，用于为外观网络提供几何信息。与先前的工作不同，本方法在几何网络部分针对法向量的估计提供了两种不同计算形式的输出。图1中，几何网络估计的法向量 n ^ ，其网络结构与估计符号距离值相同，但单层MLP与估计符号距离值的MLP并不共享参数，为独立的MLP。而图1中法向量 n 为符号距离场(Signed Distance Field, SDF)的导数，但这里并不采用NeuS的解析导数形式，而是采用一种有限差分的求导方法，其表达式如下：

n = ∇ f ( x i ) = f ( γ ( x i + ϵ ) ) − f ( γ ( x i − ϵ ) ) 2 ϵ (6)

公式5中， f ( ⋅ ) 表示MLP，这里的层数为1层。 γ ( ⋅ ) 表示多分辨率哈希编码，与Neuralangelo [ 13 ] 类似，采用一种渐进式的编码方式。这里的 ϵ 为栅格大小，与Neuralangelo中采用的占据栅格一致。

虽然，渐进式的编码可以在计算数值梯度(公式5)时提供有很好的平滑性，但是针对高光物体表面拟合时依然会引入过多的噪声。错误的法向量对于反射的计算和外观网络的对辐射值的拟合会有很大的影响。所以，本文使用上述两种法向量 n 和 n ^ 提供了两种正则化方式，具体见章节3.5。另外，图1中针对符号距离值和法向量 n ^ 的估计，这里MLP的初始化与SAL的初始化一致，其对MLP的权重采用正态分布的初始化方案。

对于外观网络的设计，与先前的工作不同，NeuS [ 1 ] 、Neuralangelo [ 13 ] 等工作均采用单一的辐射场表示，即仅对输入的视角方向进行编码，然后使用MLP估计出对应点的辐射值，即该点的颜色 c 。但是，针对具有高光反射的物体表面，局部区域会有高频的光照反射，而先前工作仅简单采用位置编码或球面谐波等对视角方向进行编码，并采用MLP完成外观的表达，这种方式对物体外观的漫反射颜色(Diffuse Color)和光泽颜色(Glossy Color)整合到一起来表达，实际上难以很好地表示出局部强烈变化的外观。本工作提出一种解耦漫反射颜色与光泽颜色的方法，并使用一个估计的权重来衡量该点上两种颜色的贡献程度，更好地实现高光物体表面外观的表达，具体的表示方式见章节3.3。

图2. 混合辐射场与反射场网络(外观网络)结构图

本工作对于外观网络采用一种权重衡量辐射场(Radiance Field, RF)和反射场(Reflection Field, ReF)的混合表达方式。对于辐射场，如图2，实际上与Instant-NGP [ 9 ] 等工作的外观表达类似，其采用球面谐波函数对视角方向 d 进行编码，并将编码后的特征与几何特征 e n c 和法向量 n 进行联合，然后输入到2层的MLP中进行漫反射颜色的估计，具体的表示为：

c r f = MLP ( [ SH ( d ) , e n c , n ] ) (7)

对于反射场，其输入为该采样点的反射方向 ω r 。由图1所示，这里使用几何网络估计的法向量 n 和给定的视角方向 d 对反射方向进行计算，表达式为：

ω r = 2 ( ω o ⋅ n ) n − ω o (8)

与Ref-NeRF [ 5 ] 等工作类似，通过重参数化外观网络，将反射方向作为输入来表达高频变化的信号。但是，等先前工作 [ 5 ] 不同的是，本方法不采用集成方向编码(Integrated Directional Encoding, IDE)来表达高频信号，这是由于IDE估计的材质粗糙度(Roughness)作为输入对高阶球面谐波的编码进行控制，而粗糙度的估计往往与实际有很大的偏差。本工作仅简单采用4阶的球面谐波对反射方向的光照信号进行表示。通过实验发现，这种方式能够在拟合隐式表面时产生更加平滑的表面。所以，这里反射场(Reflection Field, ReF)的表示为：

c r e f = MLP ( [ SH ( ω r ) , e n c , n ] ) (9)

由图1所示，本工作通过将球面谐波编码的特征与采样点三维坐标同时输入到MLP中进行权重 w 的估计，其用于衡量漫反射颜色 c r f 和光泽颜色 c r e f 对当前点颜色的贡献，通过反向传播对权重进行优化。其具体的表达如下：

c = w ⋅ c r e f + ( 1 − w ) ⋅ c r f (10)

实际上，高光反射的物体表面会破坏多视角一致性的假设，使得在计算渲染损失的过程中由于需要最小化与真实像素的相似性而产生伪影。在先前工作中，一般的思路为建立一个反射评分用于衡量该像素点存在反射的可能性，但这种思路仅针对于单一像素，无法很好地联合多个视角对同一个物体表面的像素点进行联合考虑。本工作尝试引入一种类似Ref-NeuS [ 10 ] 中的反射得分(Reflection Score)方法。这里并不是建模每个像素存在反射的可能性或不确定性(Uncertainty)，而是通过显式地将物体表面的点反投影回每一个视角，通过比较多个视角的投影坐标上的像素之间的马氏距离(Mahalanobis Distance)来计算出该物体表面点的反射得分。考虑到物体遮挡关系的原因，这里的反射得分通过比较该表面点与每个相机的距离和每个相机到最近表面点的距离来判断遮挡关系，整体的反射得分表示为：

β ¯ 2 i ( r ) = γ 1 ∑ j = 1 N υ j ∑ j = 1 N υ j M d i s (11)

M d i s = ( C ¯ i ( r ) − C ¯ j ( r ) ) T ∑ − 1 ( C ¯ i ( r ) − C ¯ j ( r ) ) (12)

这里的 υ 表示表面点 x * 相对于每个相机视角的可见性， C ¯ 表示为表面点 x * 反投影到对应视角图像空间的像素值，其计算与Ref-NeuS一致。但是，表面点 x * 的计算过程与Ref-NeuS略有不同，如图3所示，由于本方法采用类似Neuralanglo [ 13 ] 的占据栅格来过滤无物体表面相交的空区域，所以在计算光线上每个采样点符号距离值时的计算量更小。表面点 x * 的计算表达式如下：

T i = {   x j   |   f ( γ ( x j ) ) ⋅ f ( γ ( x j + 1 ) ) < 0   } (13)

S ^ i = {   x   |   x = f ( γ ( x j ) ) x j + 1 − f ( γ ( x j + 1 ) ) x j f ( γ ( x j ) ) − f ( γ ( x j + 1 ) ) ,   x j ∈ T i   } (14)

图3. 表面点集合计算对比图

如上公式， S ^ i 表示第 i 条光线与物体表面相交的点的集合，相交点的计算是采用两侧异号的符号距离值，通过线性插值得到相交点。由于光线与物体会出现多个相交点，这里取距离相机原点最近的相交点，表达式为：

x i * = arg min D ( x , o i ) (15)

这里的 D ( ⋅ , o i ) 为距离计算函数。实际上，本方法会先对可见性 υ 进行计算，然后再对每一个可见的光线进行马氏距离的计算，这样的方式可以减少对无可见光线对图像空间进行反投影的计算开销。如图3，这里将每个视角做光线步进时与物体最近的相交点与视角相机原点 o i 的距离记为 d j ，而该相机原点到可见性计算的物体表面点 x i * 的距离记为 d j * ，可见性的表示为：

υ j = II ( d j * ≤ d j ) (16)

经过实验观察，直接使用上述几何网络通过有限差分法(Finite Difference Method)求导得到的法向量 n 在拟合高亮物体时会产生很多噪声，整体的法向量并不平滑。为了缓解这些噪声对隐式表面拟合的影响，这里引入了两个对于法向量的损失函数：

L n = ∑ i w i ‖   n − n ^   ‖ 2 (17)

这里 L n 中的 n ^ 为几何网络估计的法向量，而 n 为符号距离场(SDF)进行有限差分求导得到的法向量。由于几何网络中嵌套了MLP，其可以很好地为估计的法向量 n ^ 提供一定的平滑性，从而一定程度上影响了有限差分求导的法向量 n 的平滑性。同时，为了保证法向量的朝向正确，这里引入了类似Ref-NeRF的法向量惩罚，表示为：

L o = ∑ i w i max ( 0 , n ⋅ d ) 2 (18)

上述的 w i 均为该点在体渲染方程中的权重，其衡量该点在整条光线上积分的贡献程度。除此之外，本方法采用先前工作 [ 1 ] 对符号距离场的约束，即Eikonal正则化项 L e i k 。具体表示如下，其中 P 为所有采样点的总数。

L e i k = 1 P ∑ i = 1 P ( | ∇ f ( x i ) | − 1 ) 2 (19)

同时，对于颜色损失 L c o l o r 的考虑，本方法采用L1损失，而不是公式3的L2损失，并且通过上述的公式来缓解优化过程中多视角不一致导致的噪声引入，具体的表述如下：

L c o l o r = ∑ r ∈ R | C ^ ( r ) − C ( r ) | β ¯ 2 ( r ) (20)

所以，本方法总体的损失函数可以表示为如下：

L = L c o l o r + λ 1 L e i k + λ 2 L n + λ 3 L o (21)

本节主要对三种上述提到的数据集与基准模型进行对比实验。同时，在章节4.2.1中对本文方法进行消融实验。对于新视角合成任务，主要的定量评价标准采用峰值信噪比(Peak Signal-to-Noise Ratio, PSNR)和结构性相似度(Structural Similarity, SSIM)。对于隐式表面重建任务，这里采用倒角距离(Chamfer Distance, CD)作为定量评价标准。