图像翻转操作包括对图片进行垂直和水平翻转，其中垂直翻转实现需要水平翻转后再图像进行180˚旋转处理，水平翻转比垂直翻转应用更为广泛。这种技术的优点是易于实现，此外图像翻转在CIFAR-10数据集上具有较好的效果，但对文本识别的数据集，如MNIST，使用图像翻转会更改其标签信息 [ 5 ]。

图1. 基于图像的数据增强方法分类

进行图像旋转后得到的图像与原始图像的维数是否相同取决于图像的旋转度数以及原始图像的形状。当长方形的图像旋转180˚或者正方形的图像旋转90˚、180˚、270˚时，旋转后的图像与原始图像能够保持一致的维数。与图像翻转操作一样，在特定的数据集上，例如文本识别数据集MNIST，其图像变换的安全性取决于图像的旋转度数，随旋转度数的增加，转换后的图片不在保留原标签信息。

图像的随机剪裁可视为从原始图像上进行随机抽样，再将抽样获得的图像数据样本恢复为原始图像大小。

图像缩放分为向外缩放和向内缩放。图像缩放与图像剪裁不同的是向外缩放会得到比原始图像更大尺寸的图像，再从中剪裁出与原始图像大小相同的图像，向内缩放则缩小原始图像的大小，并针对其超出边界的部分进行填充操作从而获得与原始图像尺寸一致的图像。

图像移位是指不改变图像的尺寸而将图像在以坐标轴为移动参考进行横轴和纵轴的移动，并针对边缘部分进行填充处理。在进行了图像移位操作后，大部分的图像数据中对于图像任务有用的部分将位于图像的边缘部分，因此深度学习模型在进行计算机视觉任务训练时会将关注焦点转移到任意位置，而不是仅仅针对图像中心区域的学习，这种操作能够有效的提高模型的鲁棒性。

在对图像数据样本进行旋转、移位、缩放等操作后，需要将变换后的图像恢复到与原始图像尺寸一致的大小，恢复的过程通过对于图像的边缘部分进行填充操作实现。常用的图像填充方法包括：常数填充，使用常数值对图像的边缘部分进行填充，这种填充方式适用于单色背景的图像数；边界值填充，在原始图像边界的外部填充原始图像的边界的像素值，此方法适用于短距离移位。

数字图像数据通过使用长、宽和通道来表示数据。

常用的色彩空间包括：

1) 通过RGB通道的变化和叠加得到不同颜色的RGB色彩空间；

2) YUV色彩空间，其中Y表示亮度，UV表示色度；

3) HSV颜色模型，H表示色调，S表示饱和度，V表示明暗程度。

此外还包括I1I2I3，L*a*b* [ 6 ] 和YcbCr [ 7 ]，在这些颜色空间中，HSV颜色空间是直观的，其组成部分可以很容易地与物理世界相关联 [ 8 ]。

在色彩通道上进行图像亮度调节以及色度调剂是数据增强的一种有效方式。通常情况下，采集到的图像数据的亮度覆盖范围不足，为达到深度学习对亮度鲁棒性的基本要求，进行亮度转换操作成为基于色彩空间的数据增强技术中最常用的一种方法。在图像数据中，亮度偏暗的图像，亮度方差也更小，从而整体的亮度范围被压缩。Gamma变换通过非线性变换将过亮或过暗的图片进行调整。直方图均衡化是更加高级的色彩空间增强方式，对对比度相近的图像使用该技术可增强局部的对比度而不影响整体的对比度，这种方式对过亮或过暗的图像数据能够实现有效的数据增强。

色彩空间转换是色彩特征提取的一种非常有效的方式。不同的色彩空间表示形式虽各有特性，但由于其同构性，可以互相转换。图像通常位于三维RGB颜色空间中，但RGB颜色空间在感知上不均匀，颜色的接近度并不表示颜色相似性。色彩空间转换通过将图像在RGB、HSV、LAB等不同的颜色空间上转换，使以不同的方式对每个分量进行加权，对于不同的数据集，通常需要选择合适的颜色空间转换来提高模型的性能。

色彩空间转换的缺点除了会消耗大量内存空间和时间，其也会产生不好的效果，例如人脸识别需要的关键信息使黑白黄，但若出现大量红绿等颜色信息，则是不合理的。此外，颜色空间转换的图像增强效果是有限的，虽然比几何变换更具多样性，但不恰当的使用可能会使模型发生欠拟合。

Ze Lu等人 [ 9 ] 提出一种用于面部识别任务的色彩空间框架，提出色彩空间LuC1C2其通过比较RGB系数的颜色传感器属性选择Lu亮度分量，通过RGB颜色空间的色度子空间和协方差分析来确定C1C2颜色分量的变换向量的方向。在AR、Georgia Tech、FRGC和LFW人脸图像数据库上实验，确定了色彩空间LuC1C2具有更好的人脸识别性能。并且通过将LFW和FRGC数据库上提取的LuC1C2颜色空间中的CNN特征与简单的原始像素特征相结合，显著提高面部验证性能。

图像噪声是指在原始图像上随机叠加一些孤立的能够引起较强的视觉效果像素点或像素块，以扰乱图像的可观测信息，使其能够更好的提高卷积神经网络模型的泛化能力。常见的噪声有：椒盐噪声、高斯噪声、Coarse Dropout、Simplex Noise Alpha、Frequency Noise Alpha。它们都是以不同的方式生成以不同数值填充的不同大小像素遮掩点，再与原图混合，以扰乱原始图像的一些特征。

模糊的本质上可视为对原始图像进行卷积操作，常用的方法是高斯模糊，该方法服从的卷积核矩阵服从二维正态分布，以减少各像素点值的差异从而降低细节层次，使图像数据的像素平滑化，达到模糊图片的效果。模糊半径越大，图像就越模糊。

图像融合技术，通过求两张图像的像素值的均值将两张图片混合在一起，或者是随机裁剪图像并将裁剪后的图像拼接在一起形成新图像。当混合来自整个训练集的图像而不是仅来自同一类别的实例的图像时，可以获得更好的结果。图像融合方法从人的视角看毫无意义，但从实验的角度上观察，确实能够提升精度。

1) SMOTE [ 10 ]

采集到的数据集常存在的问题是样本类别不平衡问题，样本类别之间的较大差距会影响分类器的分类性能。SMOTE方法提出以小样本类别合成新的样本来解决样本不平衡问题，该方法将提取的图像特征映射到特征空间，确定好采样倍率后，选取几个最相邻的样本，从中随机选取一个连线，并在连线上随机选取一点作为新样本点，重复至样本均衡。杜金华 [ 11 ] 在研究中提出使用基于 SMOTE 算法的上采样法分别对原始图像数据集进行增强，实验表明花岗石识别准确率有所提高。

2) MIXUP [ 12 ]

ERM方法会在各个类间形成明确的决策边界，而Mixup方法是一种基于线性过渡的数据增强的方法，使用mixup能够使得数据样本之间像素点是渐变的，使样本分类边界模糊化，使得非0即1的预测变为较为平滑的预测效果，抑制模型在进行预测分类时的不稳定性，增强模型的泛化能力。这种方法从训练数据中随机抽取两条数据将抽取到的图像数据的像素值进行符合Beat分布的融合比例的线性加权求和，同时将样本对应的One-hot向量标签也对应加权求和，预测生成的新样本与加权求和后的标签的损失，进行反向求导并更新参数，同时抽取批量数据并进行随机打散后进行加权求和。在CIFAR、 ImageNet图像分类数据集语音数据集中使用该方法能够实现模型性能的提升，并且降低模型对不完整标签的记忆。mixup方法尽管再在程上取得很好地效果，但缺乏理论支撑，且该方法需要较长的时间才能收敛出较好的结果。ERM方法与Mixup方法的对比如图2所示。

图2. ERM与Mixup对比

3) CUTMIX [ 13 ]

CutMix是一种改进的随机擦除策略，随机擦除用一块矩形掩码覆盖原始图像，实现擦除图像上的一部分像素信息，但其缺点是减少了训练图像上的包含信息的像素比例，并且需要大量的计算，较为耗时。CutMix方法将随机选中的区域填充其他图像的补丁区域。这种方法与Mixup方法相比，改进了混合图像后，人眼无法主观辨别图像标签的情形。在擦除区域添加其他样本信息，进一步增强模型定位能力。CutMix在CIFAR和ImageNet分类任务以及对ImageNet上的弱监督的本地化任务领先于最新的数据增强策略，同时，在Pascal检测和MS-COCO图像字幕基准测试中获得了性能提升。这种方法改进了针对输入损坏及其模型失配检测性能的模型鲁棒性。

4) Sample Pairing [ 14 ]

Sample Pairing方法常用于图像分类任务中的数据增强，该方法首先从训练集中随机选择两张图片，与Mixup方法不同的是，随机选择图像的方式是从训练集中随机抽取两张图片并分别进行基础数据增强操作(如随机翻转等)处理后，再经像素取平均值，最后叠加合成一个新的样本。而标签为原样本标签中的一种，理论上新样本数量平方增加。这种方法能够显著提高所有测试数据集分类准确性。使用GoogleNet的ILSVRC 2012数据集的top-1错误率从33.5%降低到29.0%，而在CIFAR-10数据集中则从8.22%降低到6.93%。当训练集中的样本数量非常小时，SamplePairing技术大大提高了模型预测的准确性。因此该技术对于训练数据量有限的任务(例如医学成像任务)更有价值。SamplePairing方法实现简单，效率大大增加，但缺少相应的理论支撑。

1) 随机擦除 [ 15 ]

随机擦除方法与添加噪声方法相似，通过随机选取图像中的矩形区域，并使用随机像素值对其遮盖。该技术可以很容易嵌入大部分卷积神经网络模型中。随机擦除的好处在于迫使模型去学习有关图像的更多描述性特征，从而防止过拟合某个特定视觉特征，确保网络关注整个图像，而不只是其中的一部分。随机擦除的缺点是不一定会保留标签(例如文本8->6)。Zhun Zhongy等人将随机擦除方法用于图像分类、物体检测和人员重新识别任务，并通过该方法实现了性能的提升。使用随机擦除方法进行大量实验，在CIFAR、PASCAL VOC 2007、Fast-RCNN、re-ID、Market-1501、DukeMTMC-reID上表现出良好的效果。

2) CUTOUT [ 16 ]

与随机擦除相似，Cutout是在图像上的随机位置使用一定大小的正方形path进行0-mask剪裁。蒋芸等人提出了激活区域处理算法(Activation Region processing algorithm) [ 17 ] 并将其嵌入到CNN模型，对网络卷积层的特征图进行遮盖处理，进一步提高模型的性能，降低过拟合的风险。该方法从卷积神经网络中提取出较为关键的局部特征的卷积层的素值最大的特征图，对其上采样后将像素值大于整个图像素均值的像素点使用[0,1]的随机噪声进行遮盖处理，输入到下层网络继续训练。算法在CIFAR和Fashion-MNIST数据集上得到更低的错误率。在不同的网络结构RestNet-18、WRN-28-10、ResNext-8-64使用AR算法后，与未加任何遮挡的CNN模型相比，得到更低的错误率。随机擦除、Cutout和GridMask方法的图像增强效果如图3所示。

图3. 随机擦除、Cutout和GridMask对比

3) GRIDMASK [ 18 ]

Pengguang等人提出的GridMask的信息删除方法平衡了删除区域与保留区域的面积，其本质是对图像进行网格覆盖，优化了cutout和随机擦除方法过度删除问题，并保持图像区域连续，易于实现且快速灵活，与以前的方法相比，GridMask在各种数据集上得到更优的效果，优于所有以前的无监督策略，包括AutoAugment [ 19 ] 提出的最佳组合策略。该方法可以用作数据扩增的新基准策略。

DCGAN [ 24 ] 尝试将图像领域应用广泛的CNN与生成对抗网络GAN结合起来，提出了Deep Convolutional GANs (DCGAN)，在图像分类任务上证明了其优于其他无监督算法。该算法的核心部分是对CNN架构进行了三处修改：(1) 使用卷积层替代了池化层。作者在GAN中的生成器中进行了此类修改，使得生成器能够学习其自身空间的下采样方式，而不是参数指定的下采样方式。(2) 消除了卷积特征上的全连接层。作者尝试将最高卷积特征分别直接连接到生成器和判别器的输入和输出。(3) 批量归一化 [ 25 ]。使用批量标准化通过将输入标准化以使零均值和单位方差为零来稳定学习，并且能够有效解决深度生成器的所有样本坍塌到单点的问题。将该方法用到生成器的输出层和判别器的输入层会导致批量归一化模型不稳定问题，因此作者在剩余的所有层上都使用了批量归一化的操作。DCGAN算法实现了CNN和GAN的结合，是一种有效的图像生成模型，被广泛的用于数据集样本的生成。但使用该方法中，当训练模型的时间较长时，仍然在部分模型中存在不稳定的问题。

CycleGAN [ 26 ] 作为图像转换领域的重要模型，可以实现样本数据无需配对即可进行转换，例如将一个名人转换成一个卡通人物，这种图像转换的使用能够对样本数据进行极大的扩充而保留原始图像的轮廓。CycleGAN作为一种不对齐数据的图像转换方法现在被广泛的用于图像到图像的转换。

CycleGAN实际上是由两个对称的生成对抗网络组成的环形网络，将该模型与DCGAN进行比较后发现，该模型能够控制图像生成，而DCGAN模型则输入一个噪声后输出一张无法控制的图片。CycleGAN的结构如图4所示。

图4. CycleGAN结构：(a) 该模型由两个映射函数组成 G : X → Y 和 F : Y → X ，并包括两个对抗判别器D_Y和D_X，D_Y鼓励G将X转换为与Y无法区分的输出，D_X则鼓励F将Y转换为与X无法区分的输出。为了进一步的将映射规范化，该模型定义了两个“循环一致性损失”，这两个损失函数保证了将一个域转换为另一个域并再次转换回来的时候，与原始的域尽可能保持一致。(b) 前向循环一致性损失： x → G ( x ) → F ( G ( x ) ) ≈ x ，(c) 反向循环一致性损失 y → F ( y ) → G ( F ( y ) ) ≈ y [ 26 ]

2014年，Mehdi Mirza等人提出了Conditional GAN [ 27 ]，论文中提出的模型不仅仅需要较高的逼真度而且需要在一定的条件约束下完成，由于其增加了条件约束，因此生成器和判别器的设计会发生较大的改变。通过根据附加信息对模型框架进行调整，可以用于指导数据的生成过程，这种根据条件生成数据的方式对于数据增强非常有效，研究人员在原始图像上可以根据不同的需求条件生成增量数据，并将增量数据应用到下游的神经网络模型中。Conditional GAN的结构如图5所示。

图5. Conditional GAN 的结构

尽管生成对抗网络在生成图像领域被广泛的应用，但其训练的不稳定性，以及要求大量训练数据的不适用性将导致其不同的变体方法在一些时候并不能有效的实现数据增强的任务。