“分形”(Fractal)一词在1975年被法国数学家曼德勃罗(Benoit B. Mandelbrot)提出 [10] ，本意为不规则的、破碎的、分数的，它指的是那些具有复杂精细结构，且不能用传统的几何语言描述的，具有某种意义上的自相似性的几何结构或现象，比如雪花、海绵、蕨类植物的形状，大脑神经元在局部结构与整体结构上的相似性等。为了定量的分析分形现象，基于测度论的Hausdorff维数的概念被提出。

用经典的分形图案“科赫曲线”来举例，如 图1 ：

其每一部分都由4个跟它自身相比为1:3的小曲线组成，于是其分形维数为log(4)/log(3) ≈ 1.262，其中，数值3与4的意义可理解为若将原图形缩小3倍后将其与自身相比，不重叠地存在4个与其相似的部分，其严格定义需要引入Hausdorff测度，如下，部分摘自参考文献 [3] ：

定义1：任意非空子集 $U\subseteq R^n$的直径为：

$\left|U\right|=\sup \left\{\left|x-y\right|\right\},x,y\in U$(1)

即U内任意两点之间距离的最大值。

如果 $\left\{U_i\right\}$为可数或有限个直径不超过 $\delta$的集构成的可以覆盖集合F (在n维欧氏空间 $R^n$)的集类，即

$F\subseteq {\displaystyle \underset{i}{\cup }{U}_i}$(2)

且对任意的i值有 $0<\left|U_i\right|\le \delta$，就称n维欧式空间 $R^n$的 $\left\{U_i\right\}$是F的一个 $\delta$覆盖。至此，已经准备好给出Hausdorff测度定义，如下所示：

定义2：设 $s\ge 0$，对任意一个 $F\subseteq R^n$和 $\delta >0$，令

$H_{\delta }^s\left(F\right)=\inf \left\{\underset{i}{{\displaystyle \sum }}{\left|U_i\right|}^s\right\}$(3)

其中， $\left\{U_i\right\}$是F的一个 $\delta$-覆盖。

对于任意 $F\subseteq R^n$都存在：

$H^s\left(F\right)=\underset{\delta \to 0}{\lim }{H}_{\delta }^s\left(F\right)$(4)

定义3：令 $F\subseteq R^n$，则集合F的Hausdorff维数为：

${\dim }_{H}F=\inf \left\{s:H^s\left(F\right)=0\right\}=\sup \left\{s:H^s\left(F\right)=\infty \right\}$(5)

且有

$H^s\left(F\right)=\{\begin{array}{l}\infty ,s<{\dim }_{H}F\\ 0,s>{\dim }_{H}F\end{array}$(6)

其中，在 $s={\dim }_{H}F$这一点上， $H^s\left(F\right)$的值可能是0，也可能是∞，或者满足 $0<H^s\left(F\right)<+\infty$。

在此定义下，若图形为经典的可被整数维数描述的图形，如线段，正方形，立方体等，其分形维数与其整数维数相同，如此，几何图形的维数的定义被延拓至非整数，且其也可被用来描述符合自相似模式的其他事物。

计盒(Box Counting)方法定义了一种分形维数的计算方法，该分形维数被称作计盒维数 [11] (Box- counting Dimension)。

定义4：设A是 $R^n$空间的任意非空有界子集，对于任意的一个 $r>0$， $N_r\left(A\right)$表示用来覆盖A所需边长为r的n维立方体(盒子)的最小数目。如果存在一个数d，使得 当 $r\to 0$时，有 $N_r\left(A\right)\propto 1/r^d$且存在一个整

数k使得 $\underset{r\to 0}{\lim }{N}_r\left(A\right)/r^{-d}=k$，那么称d为A的计盒维数，也称盒维数。

对定义中等式取对数，并求解出d则可得：

$d=\underset{r\to 0}{\lim }\frac{\log k-\log N_r\left(A\right)}{\log r}=-\underset{r\to 0}{\lim }\frac{\log N_r\left(A\right)}{\log r}$(7)

一张灰度图 $I\in R^{M\times M}$被视作三维平面 $z=I\left(x,y\right)$。xy平面被划分为 $s\times s$尺度的 非重叠网格，其中 $s\in Z^{+}$并从1遍历到S。同时为了确保 $M/s\in Z$，如有必要在I周围进行零填充。记 $g_{\max }\left(i,j\right)$和 $g_{\min }\left(i,j\right)$分别为第 $\left(i,j\right)$个网格上最大和最小灰度值。记 $n_s\left(i,j\right)$为使用大小为 $s\times s\times h_s$的不重叠立方体盒子覆盖二维坐标为第 $\left(i,j\right)$网格处的超表面的高度所需的盒子数量，其中 $h_s=s{I}_{\max }/M$为盒子高度且 $I_{\max }=\underset{x,y}{\max }I\left(x,y\right)$，超表面是由平面灰度值变化所张成的三维表面。记 $N_s$为使用 $s\times s\times h_s$的盒子覆盖图像张成的整个三维超表面时所需的盒子总数。 $n_s$和 $N_s$计算公式如下：

$n_s\left(i,j\right)=\lceil g_{\max }\left(i,j\right)/h_s\rceil -\lceil g_{\min }\left(i,j\right)/h_s\rceil +1$

$N_s={\displaystyle \underset{i,j}{\sum }{n}_s\left(i,j\right)}$

其中， $\lceil g_{\max }\left(i,j\right)/h_s\rceil$和 $\lceil g_{\min }\left(i,j\right)/h_s\rceil$分别是对应网格上覆盖该局部表面灰度值所需的盒子数索引的最大与最小值。因此，参考公式(7)，差分盒维数定义为：

$d_{DBC}=\underset{s\to 0}{\lim }\frac{\log \left(N_s\right)}{\log \left(1/s\right)}$(8)

在实际计算过程中，差分盒维数 $d_{DBC}$可由最小二乘拟合求出。

由于自然界中现象的复杂性，单个分形维数通常无法充分描述一种事物的全部特征，于是学术界逐渐发展出重分形的方法，通过将原集合划分为多个分形奇异集，分别计算每个集合的分形维数并串联成重分形频谱，可以有效地刻画非规则分形的特征，一般的划分方法为使用局部Hölder指数或称局部分形维数，以下给出局部Hölder指数的定义：

定义5 [12] ：定义在一个紧支集 $\Omega$上的测度 $\mu$称为重分形，如果对于任意的 $x\in \Omega$存在 $\alpha \left(x\right)$，使得 $\mu \left(Br\left(x\right)\right)\propto r^{\alpha }$，其中 $\mu \left(Br\left(x\right)\right)$是中心位于x，半径为r的球， $r\to 0$。那么 $\alpha \left(x\right)$称为 $\Omega$在x的局部Hölder指数或称局部分形维数。

Hölder指数刻画局部标度或局部密度，指数值越小，局部变化越强烈。

至此可以给出重分形频谱定义：

定义6：令 $E_{\alpha }=x:x\in \Omega \wedge \alpha \left(x\right)=\alpha$则可以定义重分形频谱为：

$f\left(\alpha \right)=FD\left(E_{\alpha }\right)$(9)

其中，FD(·)代表一种分形维数计算方式，使用2.2介绍的计盒维数计算方式便可以计算数字图像的重分形频谱。

ResNet是一种神经网络结构，它通过串联一种叫做“残差块”(见 图2 )的结构进行构建，其跨层连接的思想解决了较深层的神经网络在训练时的梯度消失问题，使深度神经网络的训练速度更快，使得较深层数的神经网络模型的实现成为了可能，从而使神经网络可以获取和匹配更加抽象的特征模式，本文选此网络作为主干架构主要看中了其收敛速度。

本文选用基于ResNet的神经网络模型作为主干网络，附加基于跨层自相似性统计的旁支结构，具体实现细节见第4章内容。

本文所构建的网络模型由主干结构与参考了参考文献 [3] 中的跨层自相似统计结构构建，主干结构使用三段串联的残差模块作为卷积层部分，之后将卷积层的输出展开为一维向量，将其与旁支跨层自相似统计模块的输出向量拼接为一个更高维的向量，将该向量作为全连接层的输入，向量经过全连接层后会通过SoftMax激活函数，使其转化为分类置信度的表示向量，每一维都看作是该维度代表的类别的概率，选取概率最高的类别作为预测结果。

图3 为模型结构图示：

跨层自相似统计是将神将网络各层的输出特征图堆叠起来，通过卷积和最大值池化和最小值池化的方法，实现计盒维数的计算，再通过软直方图，将特征图多尺度的分形信息提取出来，实现跨层的重分形频谱的计算，将重分形频谱作为输入全连接层的特征向量的一部分，来提高模型的性能，以下介绍自相似性统计模块的实现细节。

自相似性统计模块分为跨层特征图缩放和堆叠部分、测度计算部分、软直方图计算部分、计盒维数统计部份以及特征融合部分，先来介绍跨层特征图堆叠部分。

跨城特征图的堆叠是将各层特征图缩放为同样的大小和维数，然后堆叠为一个三维的特征“体”的过程，因为神经网络每一层输出的特征图一般有着不同的尺寸，所以需要将他们先缩放为同一尺寸才能将它们堆叠为一个三维的特征张量来进行之后的计算，本文使用双线性插值的方法将每一层输出的特征图缩放为同一大小，然后先按通道(channel)维度分别堆叠为张量，然后再将每个维度的张量堆叠为一个张量，比如如果一批n个特征图，其通道的维数是3，则先将每个特征图按通道拆开，堆叠为一个N*H*W的特征张量，H和W分别为特征图的行数和列数，即高度(height)和宽度(width)，然后将每个通道堆叠成的特征张量再堆叠为一个特征张量，以进行后续的计算，如 图4 ：

本文构建的神经网络的主干网络使用的激活函数为Relu且经过了批标准化(Batch Normalize)处理，所以各层输出的特征图上各点的值的范围为(−∞, +∞)，大部分应当集中在(−3, +3)范围内，所以为方便之后的计算，先将上一步得到的特征张量通过sigmoid函数将特征值的范围重整到(0, 1)区间范围内，然后通过不同步长的最大值池化和最小值池化，将不同尺度测量下超平面的高低差提取出来，该处网络结构如 图5 ：

之后，将计算的结果输入无偏置的3*7*7三维卷积层进行在通道维度步长3的特征维数的卷积运算，步长为3的原因为特征堆叠步骤时输入的特征图像为三个，所以该步骤可认为是将之前输入的三个不同特征图的同一个通道堆叠为的特征张量看作一个通道数为三的特征图来计算测度，该特征图由三个不同层输出的特征图的相同通道组合而出，所以其包含了跨层的特征信息，即本次计算得出的测度特征图为跨层的测度特征图，通过该特征图，可计算跨层统计的测度软直方图，见 图6 ；

通过将上一步计算出的测度特征图分别减去多个不同的基准值，可得到测度特征的软直方图，该步包含上一步测度计算部分，将每一个取测度的卷积层设置为具有可训练的偏置，即可将测度减去基准值这部分包含在一次卷积操作里完成，见 图7 ；之后将输出的软直方图重整为正值，因为之后需要经过log函数，曾在此处设置为经过sigmoid函数，但为了减少计算消耗，此处将其更换为Relu函数，经测试，二者对模型性能并无太大影响；

使用软直方图计算不同基准值下的计盒维数，串联为向量，即为跨层统计的重分形频谱，见 图7 。

因为本模型是通过三次不同尺度的盒计数的计算来确定计盒维数，所以log(1/s)为三个常量，直接写入了模型中，以减少模型计算消耗.

在计算完重分形频谱后，参考 图3 ，本文将重分形频谱与主干网络结构输出的特征向量拼合为更高维度的特征向量，见 图8 ，然后作为全连接层的输入，以进行类别的判断。

本文构建的网络模型的最后一部分结构为全连接部分，将卷积部分计算得出的特征向量通过多层全连接层转化为类别的概率向量，本文将其中的一层设计为输入和输出维数相同，将该层重复了三次，以提高参数的利用效率，据测试，该做法可以提高识别的准确率，且不显著增加模型的参数量，代码见 图9 ：

此处的结构是一个简化的类似图神经网络 [13] 的结构，本文不对其有效性进行进一步实验与理论论证，下一章将介绍模型的性能测试过程与结果。

Cifar10数据集是一个拥有10种类别的彩色图像的数据集(见 图10 )，其包含了50,000张不同的三通道彩色图片，每个图片的尺寸均为32 * 32，此数据集被许多论文用作模型性能的测试数据集，本文也将主要使用该数据集作为性能判断的依据。

为方便表述，以下称存在自相似性统计模块的模型为主要模型，替换了自相似性统计模块的模型为平替验证模型。平替验证模型的主干结构与主要模型相同，其跨层自相似统计模块被替换为多层卷积层，通过调整各卷积层的参数或增添卷积层层数使平替验证模型与主要模型的准确率达到尽可能一致的水平，以对比在相同识别准确率的情况下，主要模型的自相似性统计模块是否使有效的；

平替验证模型的主干结构与主要模型一致，以下介绍平替验证模型替换自相似性统计模块的平替结构：

平替结构由四层卷积层连接而成，见 图11 ，其中，前三层为7 * 7的卷积层，第四层将前三层的输出调整为与主要网络输出的特征图相同的大小，该结构的输入也是通过所述的特征堆叠后所得的特征张量，输出与主要模型的自相似性统计模块的输出大小相同，保证了平替结构在模型内部结构不同的同时，输入和输出与原模型相同，达到等价替换的效果。

主要模型和平替模型如之前测试ResNet模型一样，均以相同的学习率和训练批次大小训练至相似的Loss值，然后对比二者所用的迭代次数来对比二者的训练性能和准确度，在完成训练测试后，使用手势识别训练集将二者训练至饱和，转换为onnx格式，部署在本地物理机上，对模型的推理性能进行测试，然后总结数据，得出模型的测试结论。

首先，两模型的训练测试结果对比如下：

由 图12~15 以及 表1 所示数据可以看出二者的训练性能较为相似，通过notebook的cell运行时间观察，二者的训练时的迭代速度相差不大。由此我们可以得出结论：平替模型与主要模型的训练性能几乎相同。

以下为两模型的部署测试结果：

两模型均在云端平台使用数字手势训练集训练后转化为onnx格式并下载到笔者的笔记本电脑中，之后使用onnxruntime读取模型并运行推理，训练集截图如 图16 ：

图17 为程序运行截图：

图18~21 以及 表2 为两模型在训练集上的训练结果和训练参数：

可以看出，两模型训练后准确率相差不大， 表3 为模型部署性能数据：

可以看出，二者在准确率对比结果上不相上下，但平替模型的模型文件大小约为主要模型的三倍，CPU推理时间为主要模型的十余倍，由于设备限制，并未测试二者在GPU上的推理性能，可能平替模型在并行运算环境下表现会稍好一些，但在本次实验中，将跨层自相似统计模块替换为多层普通卷积的平替模型在推理性能上远弱于拥有跨层自相似统计模块的主要模型，说明相比于跨层自相似性统计模块，多层卷积层若想要实现与跨层自相似性统计模块相似的性能需要占用更多的存储空间，且跨层自相似性统计模块的计算效率要高于与其具有相似识别准确率的多层卷积模块，跨层自相似性统计模块的有效性得到验证。