本文方法的整体框架如 图1 所示。首先，以生活场景数据集ScanNet (ScanNet: Richly-annotated 3D Reconstructions of Indoor Scenes) [19] 作为输入，为改进均匀采样造成的远景(即深度值大的)区域和物体边缘欠采样的不足，本文使用深度信息监督模型进行自适应采样。依据边缘检测和图像分割结果优化采样，捕捉更多边缘特征和远处物体细节，为场景渲染提供更准确的细节特征和对应深度信息，进而增强渲染结果的空间真实感。在网络训练阶段，为了使模型的深度估计结果尽可能接近真实深度，提升三维模型的空间真实感，本文设计融合深度值的损失函数以促进深度均方根误差收敛，缩小与原场景深度图的差异。此外，为了平滑场景图像和深度图的数据噪声，本文使用高斯编码进一步增强位置信息和深度信息的表示能力。经优化后的网络参数可以计算出预测的RGB值、密度σ和深度值d，最终输出渲染图像和对应深度图像。

对给定实景照片进行三维重建时，区分场景中不同物体的深度范围和获取边缘信息有助于明确物体定位和遮挡关系，故应在采样阶段采集到更多相关区域的采样点。然而NeRF的均匀采样策略导致物体边缘和远景区域采样不足，稀疏的采样点并不能帮助模型捕捉更多有效特征，进而导致渲染出的三维模型空间感失真，远处物体细节模糊。因而本文提出深度信息引导自适应采样策略，设计基于连通分量的图像分割算法并统计深度分布，并结合图像边缘检测结果弥补均匀采样缺陷，增加边缘和远景区域的采样点密度，以保留空间真实感、提高远处物体细节的渲染质量。

为了分辨出远景区域的物体，捕捉更多远处物体细节特征，需要分割场景中的物体并统计其深度范围，实现适应深度变化的采样方案。因此，本文设计了一种图像连通分量查找算法。相比于其他方法 [20] ，这种基于连通分量的分割算法在保留空间关系、减少噪声影响具有明显优势。

该方法直接在二维图像中利用明确定义的邻域关系，其关键组成部分是能够估计任意两束光线的哪些测量点源自同一物体 [21] 。为了简易高效地找到属于一个对象的组件，本文首先定义了连通性评价指标β，如 图2 所示。

假设摄像机位于O点，射线OA和OB代表从摄像机发出的两束光线，则线段AB用于估计物体的表面(如果它们都属于同一物体)。我们首先预定义阈值θ，如果 $\beta >\theta$，则代表这两点属于同一个对象，如图中绿线上的点被标记为相同的标签；如果 $\beta <\theta$，则代表这两点属于不同对象，如图中红线上的点被标记为不同的标签。

假设线段OA和OB的长度分别为d₁和d₂，由图易得β的计算公式为：

$\beta =\arctan \frac{\Vert \text{BP}\Vert }{\Vert \text{PA}\Vert }=\arctan \frac{d_2\sin \alpha }{d_1-d_2\cos \alpha }$(1)

其中，α是由相机发射出两条光线的夹角，初始化光线时通过球面坐标系计算可得。

利用β实现物体分割的关键是设计算法查找连通分量。本文使用了一个复杂度为O (N)的直通滤波器的变体算法来查找连通分量，其中N是像素数量，它保证最多访问深度图像中的任何像素两次。从图像左上角开始，按照从上到下、从左到右的顺序遍历每个像素。遇到未标记的像素时，从该像素开始进行广度优先搜索(BFS)，直到遍历完图像。

该算法有效地查找图像中的连通分量，并为属于不同物体的像素分配对应的标签，实现图像分割。算法的时间复杂度仅为O(N)，并且最多访问深度图像中的任何像素两次。因此，该方法只需要最少的参数调整即可实现良好的分割性能。经处理后的结果如 图3 所示。

为明确场景中物体的层次结构以进一步增强空间真实感和提升渲染画质，本文对图像的物体边缘进行解析和提取，在众多图像边缘检测算法中，Canny多级检测算法 [22] 简单直观、性能优越且准确性高。它的实现过程如 图4 所示。

首先，输入原始图像，使用采用高斯滤波器对图像进行平滑处理，得到平滑图像。

然后，使用梯度算子计算图像梯度，进一步增强边缘。梯度算子主要有Roberts算子、Sobel算子、Laplacian算子、Scharr算子等。鉴于深度图像不同于常规RGB图像，其边缘相对模糊、特征差异不明显，所以本文使用对边响应更加强烈的Scharr算子计算图像的梯度和方向。首先对于每个像素，应用Scharr算子进行卷积操作，分别计算其在x和y方向上的梯度G_x、G_y，则梯度幅值G的计算公式为：

$G=\sqrt{G_x^2+G_y^2}.$(2)

同时，计算每个像素的梯度方向，并量化为四个主要的离散方向(0˚, 45˚, 90˚, 135˚)，以便于后续边缘细化。之后，对得到的梯度图像进行非极大值抑制，以确保对边缘有且只有一个准确的响应，经过非极大值抑制后的图像边缘更加清晰。最后，执行双阈值处理，以提升边缘的置信度和连续性。由于固定阈值无法提取每个角度场景的边缘信息，因而使用Otsu算法确定自适应阈值。 [23] 得到阈值之后，按照双阈值判定法则即可提取强边缘、弱边缘、非边缘，并标记为不同颜色，经过连接最终获得边缘检测结果。

经过上述操作，场景深度图像的边缘信息被有效提取，这些边缘信息都蕴含着丰富的特征，是后续重建工作的关键，提取的边缘效果如 图5 。

经深度信息监督获得的采样点提供了观察方向和颜色信息以及深度信息，它们被输入到神经网络中，通过优化迭代网络参数训练NeRF模型。由于融合了新的数据——深度信息，原模型的一致性约束条件无法充分利用深度信息，导致模型的深度损失难以收敛，其重建结果与原场景深度差异较大，空间真实感不佳。为了促进深度误差的收敛，本文设计深度损失函数并联合颜色与密度损失共同优化网络参数。

为了优化辐射场，对于批处理中的每个像素，通过评估体积渲染积分的离散形式来计算其颜色。 [24] 具体而言，像素确定了一条射线，其起点位于相机中心，计算机模拟的光线沿此方向通过物体的路径进行采样。对于近平面和远平面内的每个采样位置，NeRF可以获取该点的颜色和密度信息。

(3)

$w_k=T_k\left(1-{\text{e}}^{-{\sigma }_k{\delta }_k}\right)$(4)

其中，

(5)

${\delta }_k=t_{k+1}-t_k$(6)

除了预测光线的颜色之外，还需要深度先验和方差来监督辐射场。首先，对训练样本点在不同相机方向上进行蒙特卡洛采样生成多个深度值，形成一个深度分布。然后，取各样本点深度均值作为深度先验，计算该深度分布标准差，公式如下：

(7)

(8)

其中，表示当前样本点在第k个方向上的深度。

经上述推理，网络的损失函数可描述为：

$L_{\theta }={\displaystyle {\sum }_{r,i\in R}\left({\omega }_1\cdot L_d\left(r\right)+{\omega }_2\cdot L_d\left(r\right)+{\omega }_1\cdot L_e\left(i\right)\right)}$ (9)

其中，颜色输出上的均方误差(MSE)项为：

${ℒ}_{\text{c}}\left(r\right)={\Vert \hat{C}\left(r\right)-C\left(r\right)\Vert }_2^2$(10)

深度输出上的高斯负对数似然(GNLL)项为：

${ℒ}_{\text{depth}}\left(r\right)=\{\begin{array}{ll}\log \left(\hat{s}{\left(r\right)}^2\right)+\frac{{\left(\hat{z}\left(r\right)-z\left(r\right)\right)}^2}{\hat{s}{\left(r\right)}^2}\hfill & P或Q\hfill \\ 0\hfill & 其他\hfill \end{array}$ (11)

其中， $\hat{z}\left(r\right)$表示预测深度值， $\hat{s}\left(r\right)$表示预测深度标准差，条件P、Q分别为：

$P=\left|\hat{z}\left(r\right)-z\left(r\right)\right|>s\left(r\right)$(12)

$Q=\hat{s}\left(r\right)>s\left(r\right)$(13)

这表明深度损失应用于至少满足以下条件之一的射线：1) 预测深度和目标深度之间的差异大于先验标准差或2) 预测标准差大于先验标准差。这样，损失就会促使NeRF在先验深度中最确定的表面观测值的一个标准偏差内终止光线。此外，通过解析获得的物体边缘信息可以度量生成边缘差异，其损失函数可以表示为：

${ℒ}_{\text{e}}\left(i\right)=\frac{1}{N}{\displaystyle {\sum }_{i=1}^N\Vert E_g\left(i\right)-E_r\left(i\right)\Vert }$(14)

其中，N表示像素总数， $E_g\left(i\right)$和 $E_r\left(i\right)$分别是生成图像和真实图像在第i个像素位置的边缘像素值。

综上，该损失函数不仅降低深度损失和轮廓损失，还保留了一定的密度分配自由度，以最大程度地减少颜色损失。

尽管原有的编码函数更好地拟合包含高频变化的数据，显著提高了模型的性能，但由于实景图片及其深度图隐匿了更多噪声。这些噪声可能来自传感器误差或环境干扰，直接使用原始位置信息会导致模型过拟合噪声，降低重建质量。为了平滑噪声，保留场景位置信息的连续性，本文首先使用高斯编码增强位置信息的表达能力，然后再使用sin和cos编码保留原有编码的周期性特征。

高斯函数在频域中表现为低通滤波器，能够有效抑制高频噪声，同时保留低频信息，从而平滑数据中的噪声干扰；而周期编码(如sin和cos函数)则能够捕捉数据中的周期性特征，在频域中表现为对周期性信号的高效表示。通过将高斯平滑与周期编码结合，高斯平滑周期编码在时域上实现了对噪声的抑制，同时在频域上保留并增强了数据的周期性特征。这种结合不仅优化了位置信息的表达能力，还提高了模型对噪声的鲁棒性。完整编码方案步骤如下：

1) 首先对原始位置信息的3D坐标归一化至[−1, 1]内，假设得到归一化后的坐标值为 $p\left(x,y,z\right)$。

2) 对每个坐标值进行高斯编码，高斯函数的形式是：

$g\left(p\right)=a{\text{e}}^{-\frac{{\left(p-\mu \right)}^2}{2{\sigma }^2}}$(15)

其中，μ是样本坐标值高斯分布的均值，σ是样本坐标值高斯分布的标准差 [25] 。通过对位置坐标p进行加权平滑，减少了噪声引起的局部波动，增强了位置信息的鲁棒性。

3) 对于每个坐标值，将高斯编码后的结果与sin和cos编码值相乘，生成多尺度的特征表示，这种多尺度编码能够同时捕捉场景的低频全局结构和高频局部细节，从而显著提升NeRF对复杂场景的重建能力。映射函数γ可以形式化表示为：

$\gamma \left(p\right)=\left(\sin \left(2^0\pi p\right)\cdot g\left(p\right),\cos \left(2^0\pi p\right)\cdot g\left(p\right),\cdots ,\sin \left(2^{L-1}\pi p\right)\cdot g\left(p\right),\cos \left(2^{L-1}\pi p\right)\cdot g\left(p\right)\right)$(16)

其中，参数L的值决定了输出空间的维度。实验中，对于位置坐标编码设置 $L=10$，对于方向向量编码设置 $L=4$。将编码后的结果作为输入特征提供给神经网络进行训练和预测，并通过实验证明了其在实际应用中的有效性。

按照大部分NeRF相关文献采用的量化评价标准，本文计算了测试结果RGB图像的PSNR、SSIM、和学习感知图像块相似度(Learned Perceptual Image Patch Similarity, LPIPS) [26] ，用于度量渲染画质的质量。其中，PSNR值越大，表示重建图像和原始图像相似度越高；SSIM值越大，表示重建图像和原始图像相似度越高；LPIPS值越小，表示重建图像和原始图像之间的感知差异越小，图像质量越好。

为了证实深度信息的有效性，本文计算NeRF光线追踪终止深度与ScanNet数据集真实深度的均方根误差(Root Mean Square Error, RMSE)，用于度量真实世界三维模型的深度一致性。RMSE越小，表示预测深度值与真实深度值差异越小，三维模型的空间感还原度越高。

测试过程中，本文使用ScanNet中的4个不同场景数据集进行实验，记录相关实验数据并求平均值作为本文模型的参考实验结果，详细数据见 表1 。

从表中可以看出，不同场景的实验数据略有差异，由于Scene708场景纹理相对简单，其数据噪声较低，自适应采样优化后能更好地提升整体渲染画质，其PSNR、SSIM值相对较高。然而由于场景光线偏暗，场景中深度差异区分度有所降低，无法提供精准的深度信息监督模型训练，其深度值RMSE为0.585。因此本文在多个场景中进行了实验，使得实验结果更具有泛化性，最后取其平均值作为本文模型的参考实验结果，用于后续消融实验和对比实验。

为了验证本文方法的有效性，针对三个创新点分别设计消融实验，并记录实验结果见 表2 。

由表中数据易得，本文提出的优化方法在渲染画质和空间保真两方面均有显著效果。其中，利用深度信息实现采样的自适应优化，能对场景的边缘细节和深度分布进行分析，获取更多有效特征，从而保留更多的场景细节并还原空间真实感，其PSNR、SSIM分别相对提升了14.1%、7.0%，LPIPS、深度RMSE分别降低了约0.11、0.10。融合深度信息的损失函数为模型提供了额外的约束和指导，充分利用监督信号帮助模型更准确地学习场景，以最直接的方式降低深度损失，降低三维模型与原场景的深度差异，它在保证渲染画质的同时，其LPIPS和深度RMSE分别降低了约0.05和0.14。高斯平滑的周期编码方案在一定程度上降低了数据的噪声，进一步增强位置信息的表示。实验结果表明，相较于仅使用周期编码，高斯平滑周期编码能够显著提升模型在含噪声数据上的性能，验证了其在平滑噪声与保留周期性特征之间的平衡能力。虽然在渲染画面的PSNR值上产生了略微损失，但是LPIPS和深度RMSE指标分别降低了约0.02和0.04。上述消融实验数据充分说明了本文提出的方法在针对实景三维重建工作中能发挥优异性能，其在维持渲染画质的基础上，较大降低图像的感知差异和三维模型的深度差异，达到了预期效果。

通过文献查阅和实验操作，本小节评估了现有模型与经改进后的模型实验指标，实验结果对比见 表3 。

由表易得，本文方法展现出较好的重建效果。对于ScanNet实景数据集进行三维重建，原始NeRF在图像PSNR和SSIM方面有较为理想的结果，但是从深度RMSE值为1.163可以看出其重建出来的三维模型与原场景深度差异巨大；NerfingMVS则极大程度上降低了RMSE，改善了深度失真的问题，但是它损失了较多的渲染画质。DS-NeRF则在各方面均展现出较优越的性能，是当前性能较好的模型。本文提出的改进方案进一步优化了重建效果，相对于DS-NeRF，本文方法PSNR、SSIM分别提高了4.7%和4.9%，LPIPS、RMSE分别降低了约0.07和0.12，最终在各项指标上都接近并优于对比实验模型。通过实验对比，验证了本文方法针对实景三维重建的有效性，充分利用了场景的深度信息，增加远景区域采样点数量以获取更多特征，并融合深度损失最小化深度误差，同时平滑数据噪声，为三维重建渲染画质的提升和空间感保真均做出了贡献。

本文使用测试集进行场景渲染并获得可视化结果，在4个不同场景中各选取某个视角的渲染图像和对应深度图像与实况场景进行对比，结果如 图6 所示。