Research on Lung Nodules Data Augmentation Technology Based on Generative Adversarial Networks
In response to the issue of insufficient data of specific types in medical imaging, this study primarily explores lung nodules data augmentation techniques based on Generative Adversarial Networks (GAN). An enhanced generative adversarial network technique was employed to augment the original lung nodule image dataset, which was subsequently validated using the LIDC-IDRI dataset. Experimental findings demonstrate that, compared to DCGAN, GAN technology utilizing the WGAN-GP network architecture excels in generating lung nodules images, yielding an average FID index of 137.85. Furthermore, following comprehensive evaluation of three additional image quality assessment metrics, it was found that lung nodules data generated by the WGAN-GP network closely approximates the distribution of real data, resulting in higher image quality.
Generative Adversarial Networks (GAN)
随着人工智能和深度学习的不断发展,越来越多的学者对医疗影像生成任务产生了浓厚兴趣。影像科医生长期从事高负荷的工作,不可避免地会产生视觉疲劳,出现漏、误诊等问题,基于人工智能的智能诊断系统可减轻放射科和临床医生的报告撰写负荷和诊断压力
由于医学成像技术的限制、标注过程耗时昂贵,以及隐私安全问题,使得医疗数据集增扩成为相关研究领域的热点问题。传统的数据集增扩方式主要包括样本采样和仿射变换两种方法。样本采样技术主要是改变数据集的原始分布,包括降采样、过采样或二者结合,以扩大数据集的图像总量。另一种传统方法是仿射变换,它是一种二维坐标到二维坐标之间的线性变换。通过仿射变换,可以实现图像的旋转、镜像、拉伸等操作,从而增加图像数据集的总量。除了样本采样和仿射变换外,还有一些其他方法,如扣取、遮罩、缩放、加噪等处理方式,其原理与仿射变换相同,通过改变原图的表现形式来改变其特征矩阵,从而迫使网络从语义上去理解图片,达到对数据集的增扩目的。
目前,国内外已经在图像补全、图像修复、图像翻译、图像上色、视频生成等应用领域开展生成对抗网络算法研究的工作
生成对抗网络(GAN)主要原理是通过对输入随机噪声的处理,生成器不断生成虚假的数据,判别器的任务则是判别生成器所生成数据的真假,二者在相互对抗的过程中互相学习逐渐变强。最终,通过这种博弈,生成器可输出与真实数据相似度极高的新数据。生成对抗网络基本结构如
由RADFORD等
本文使用的DCGAN网络的生成网络结构如
由于原始GAN网络存在会导致梯度不稳定的问题,WGAN (Wasserstein Generative Adversarial Network)
本文使用数据集为LIDC-IDRI (The Lung Image Database Consortium)公开数据集
IS (Inception Score)指标使用图像分类网络Inception V3 Network来评估GAN网络中生成器生成的图片的质量。主要是将模型生成的图片生成的图片输入到预训练的网络Inception V3 Network中,根据分类网络输出的概率分布来评估生成图像的质量。IS但由于输出的IS指标过分依赖于Inception V3 Network,而Inception V3 Network是根据ImageNet数据集训练的,如果评价的数据集与训练分类网络的数据集相差过大时,可能不足以全面评估生成图片的质量,所以我们采用多种指标方式综合评估GAN网络中生成器的质量。计算IS指标的公式如下所示:
(1)
与IS指标性相比,FID (Fréchet Inception Distance)
(2)
使用训练好的生成器模型输出生成的肺结节数据图像,为了保证结果的公平性,DCGAN网络与WGAN-GP网络生成的肺结节影像数量都为321张,与测试的真实图像数据集保持一致。我们首先使用IS与FID指标对生成的图像进行评估,结果如
模型 |
MIS |
MFID |
DCGAN |
1.57 |
144.41 |
WGAN-GP |
1.74 |
137.85 |
模型 |
MSSIM |
MPSNR |
DCGAN |
0.40 |
30.03 |
WGAN-GP |
0.44 |
30.24 |
从
SSIM评估了生成的图像与真实图像之间的结构相似性,而PSNR评估了信号与噪声之间的比例。从SSIM和PSNR指标来看,WGAN-GP网络在SSIM和PSNR上也表现更好。WGAN-GP网络的MSSIM为0.44,高于DCGAN网络的0.40,而MPSNR为30.24,略高于DCGAN网络的30.03。这表明WGAN-GP网络生成的图像在结构相似性和信噪比方面都更接近于真实图像,具有更高的质量和清晰度,其中包含更多的细节和复杂性。
综合来看,WGAN-GP网络相较于DCGAN网络在生成肺结节影像方面表现出更好的性能。其引入的梯度惩罚机制有效提高了模型的训练稳定性,从而生成了更接近真实数据分布的高质量图像。
本研究基于生成对抗网络(GAN)技术,针对医疗影像中数据不足的问题,设计并实现了一种基于改进生成对抗网络结构的肺结节数据增扩方法。采用了DCGAN和WGAN-GP两种网络结构,并在LIDC-IDRI公开数据集上进行了实验验证。实验结果表明,使用生成对抗网络能够生成质量较高的肺结节影像数据,并且在采用WGAN-GP网络相较于DCGAN网络在生成肺结节影像方面表现出更好的性能。生成对抗网络技术在解决医疗影像数据不足问题方面具有比较好的应用前景。今后可以进一步优化模型结构,以提高生成图像的质量和多样性。
国家级大学生创新创业训练项目(202311058020)。
*通讯作者。