卷积神经网络主要由卷积层和全连接层组成。卷积层通过卷积操作在输入图像上提取特征，生成一系列的特征图。这些特征图可以被认为是图像的分类器，它们可作为后续层的输入。全连接层则负责对特征进行分类和输出最终的预测结果。整个卷积神经网络的训练是通过反向传播算法来完成的，即将误差从输出层反向传播到网络的每一层，以对权重进行更新。这样，就可以通过训练让网络自动学习图像中的不同特征，并获得更好的分类效果。全连接层的作用是将这些特征图映射为一个包含分类类别数量个元素的特征向量。该向量中的每个元素代表一个类别的概率值，表示输入图像属于该类别的可能性大小。这个向量包含了整个输入图像的特征信息，用于对图像进行分类。如AlexNet是一种深度学习模型，用于对图像进行分类。该模型针对ImageNet数据集进行了训练，并且可以对一张输入图像进行分类，输出一个包含1000个元素的向量。这个向量中的每个元素都表示输入图像属于一种不同的类别的概率大小。AlexNet模型通过学习大量图像数据来提取图像的特征，并生成包含相应类别概率值的向量作为分类结果。

FCN是在语义分割领域提出的，语义分割的任务是对图像中的每一个像素进行类别的划分。卷积神经网络(CNN)在卷积层之后通常会使用全连接层和归一化处理等方法，来得到一个固定长度的特征向量，从而得到分类结果。全卷积神经网络(FCN)采用卷积和下采样操作提取输入图像的特征，并生成一系列的特征图。在反卷积层中，将最后一个卷积层的特征图进行上采样操作，以获得与输入图像大小相同的输出图像。与常规卷积神经网络不同的是，FCN可以接受任意大小的输入图像，因为它没有全连接层。这种架构针对图像分割问题非常有效，可以实现像素级别的标记，对于图像识别、语义分割和目标检测等任务有着广泛的应用。这种方法更适合用于图像分割和语义分割等任务，可以同时处理不同大小的图像，提高了模型的灵活性和实用性，实现对每一个像素点的类别划分。

在FCN中，我们使用1 × 1卷积层增加了通道维度，这个通道维度的大小为21，以便于对每个粗略输出位置预测每个类的分数。这个1 × 1卷积层的作用是将原来的输出转换为分类分数矩阵，其中每个数值表示属于某个类别的置信度，然后我们使用反卷积层对这个粗略输出进行双线性插值上采样，将其扩大成与输入图像相同大小的输出图像。这个过程最终会生成一个像素级别的预测结果，对输入图像中每个像素都进行了分类预测，并且输出的每个像素都对应了一个置信度分数。1 × 1卷积层的使用可以带来两个主要的好处：首先，与使用全连接层相比，1 × 1卷积层不会破坏图像的空间结构，因为它只在通道维度上做卷积，不改变原始图像的宽高；其次，由于1 × 1卷积层的输入大小是任意的，因此可以轻松地将其应用于任何尺寸的图像，而全连接层的输入大小取决于图像的大小，因为它需要考虑图像的每个像素。这便使得1 × 1卷积层成为一种极为灵活的设计选择，可以用于多种图像处理任务中，而且具有很高的效率。因此，1 × 1卷积层在图像处理任务中更具灵活性和通用性，能够更好地适应不同尺寸的图像和不同的网络结构设计。FCN融合了图像深层和表层的信息，使得结果更加准确。

在语音识别领域中的语音转文字和光学字符识别(Optical character recognition, OCR)中的字符图片转字符序列问题中，循环神经网络(Recurrent neural networks, RNN)对序列数据的处理较为合适，但是RNN的输入是字符级别的，如图1所示。如果网络的输出与真实标签的长度不一致，无法计算loss。并且字符级别的标注在实际标注中是耗费大量精力，不易获得的。除此之外，虽然通过解码规则(合并相邻的重复字符，去掉空)可以解决网络输入和真实标签长度不一致的情况下也可计算损失，但是会出现多个解码结果对应同一个真实标签的情况，如“-dd-o-gg-”和“—d-oo-g”都可以解码成“dog”。CTC loss解决了上述两个问题。

图1. RNN网络识别过程示意图

CTC [ 8 ] 损失的计算对象是softmax矩阵，softmax矩阵的大小是时间序列的维度与类别数的乘积。前向–反向传播计算的过程是对softmax矩阵进行解码的过程。CTC在计算loss时，计算的本质是对概率的归纳，即找到像素区域对应的概率最大的字符。

对于标签序列l，前向变量 α ( t , u ) 定义为：由F函数将长度为t的路径映射到长度为u/2前缀序列l的概率和。后向变量 β ( t , u ) 被定义为：当附加到对 α ( t , u ) 有贡献的任何路径时，从t + 1开始完成l的所有路径的总和概率。

CTC损失函数L(S)被定义为在一些训练集S中正确标记所有训练样本的负对数概率：

L ( S ) = − ln ∏ ( x , z ) ∈ S p ( z | x ) = − ∑ ( x , z ) ∈ S ln p ( z | x )

因为函数是可微分的，所以它可以通过反向传播来计算它对网络权重的导数，然后可以用任何基于梯度的非线性优化算法对网络进行训练。

图卷积神经网络(Graph Convolutional Neural Network, GCN)是一种深度学习模型，用于对图像等非欧几里得数据进行分析和建模 [ 9 ] 。GCN网络结构示意图如图2所示，与传统的卷积神经网络不同，GCN可以处理图像、语言和生物网络等非欧几里得结构数据。

GCN的基础是图卷积操作，它通过将节点的特征与相邻节点的特征进行卷积操作来更新节点的表示。具体来说，假设每个节点都有一个特征向量，我们可以用这个向量来表示节点的属性。然后，对于每个节点，我们可以通过将其特征向量与其相邻节点的特征向量进行卷积来更新其特征表示。这样一来，我们可以利用节点间的关系信息来进行节点表示的更新。

图2. 用于半监督学习的多层图卷积网络(GCN)的示意图，其输入通道为C，输出层为F特征映射。图结构(边缘显示为黑线)在层之间共享

使用GCN进行分类或预测时，通常将已有图像的节点和标签作为训练数据，进行监督学习。模型的目标是学习到一个映射函数，能够将节点的特征向量映射到给定的标签。训练过程中，我们需要最小化预测值与真实标签之间的差异，通常使用交叉熵损失函数进行优化。

总的来说，GCN是一种灵活且强大的神经网络，适合于处理非欧几里得结构的数据，它已经在许多领域取得了成功的应用，例如社交网络分析、图像分类、推荐系统等。通过这种方式，节点之间复杂的交织关系可以通过堆叠多个GCN层来建模。

首先两者处理的数据不同。图卷积神经网络的作用和卷积神经网络实际上是一样的，都作为一个特征提取器，不同点在于两者处理的数据不同。CNN处理的是矩阵形式的数据，其数据形式是以像素点的排列为基础，这种类型的数据排列整齐，称为欧几里得结构(Euclidean Structure)。众所周知，图结构即为拓扑结构，是一种非欧几里得结构(Non Euclidean Structure)，其特点是排列不整齐，具体表现为：对于数据中的某一点，很难定义其邻居节点，或者不同节点的邻居节点数不同 [ 10 ] 。如公共汽车站的路牌，社交网络等等。

其次，在进行特征提取时，两者采用的方式也不同。对于卷积神经网络，提取特征采用卷积的方式。图的特征提取主要分为空域(vertex domain)方法和频域(spectral domain)方法。空间域是指一个由图像元素组成的空间，也叫图像空间。空间域处理是指以长度或距离为自变量，在图像空间中直接对像素值进行处理的方法。这种处理方法通常包括对图像进行增强、滤波、锐化等操作。频域是指以频率或波数为自变量的空间。在图像处理中，可以将图像转换到频域中，为图像处理提供更广阔的空间。频域处理包括傅里叶变换、滤波、频域增强等操作。这种处理方法通过对图像频谱进行操作，可以实现对图像颜色、对比度、锐度等特征的调整和优化。空间域和频率域可以相互转换。频域处理主要用于与图像空间频率相关的处理。如图像恢复、图像重建、图像锐化、图像平滑、噪声抑制、辐射变换、边缘增强、频谱分析、纹理分析等处理与分析。

图卷积网络的核心公式是 H l + 1 = σ ( D − 1 / 2 A D − 1 / 2 H l W l ) ，其中，对于给定的无向网络 G = ( V , E ) 其中V中包含网络中所有的N个结点， v i ∈ V ，E代表结点之间的边 ( v i , v j ) ∈ E ，邻接矩阵 A ∈ R N × N 中的元素可以为二进制编码也可以是权重实数；度矩阵 D i i = ∑ j A i j ；结点的特征向量矩阵为 X ∈ R N × C ，其中N为结点数，C为特征向量的维数。

PGNet论文中，TCL模块的损失应用Dice loss。由于本文研究的字符数据集的字符序列较长，要求拍摄的前景范围大，文本区域自然变小。而Dice loss对小文本识别不友好。故本文采用CTC-Loss + Center-Loss作为损失进行网络的学习。Center-Loss最早用于人脸识别任务，用于增大类间距离，减小类内距离 [ 13 ] 。Center-Loss主要用于图像识别领域，训练数据的标签为一个固定的值，而对于OCR识别来说，其本质上是一个序列识别任务，特征和label之间并不具有显式的对齐关系，和CTC-Loss的组合很好的解决了上述问题。通过对badcase的分析，发现识别的一大难点是相似字符多，容易误识别。CTC Loss + Center Loss的算法思想：先将提取出的特征和对应的标签，计算Center-Loss，再将计算出的Center-Loss结果乘以系数然后和CTC-Loss求和。