CSA Computer Science and Application 2161-8801 Scientific Research Publishing 10.12677/CSA.2015.511052 CSA-16430 CSA20151100000_70107313.pdf 信息通讯 宽幅扫描仪色差一致性校正与边缘融合拼接 Fusion and Combination of Margins for Large Format Scanner 姚 东东 1 * 周 益民 1 * 邱 会中 2 * 电子科技大学无锡研究院，江苏 无锡 电子科技大学计算机科学与工程学院，四川 成都 * E-mail: 201321060215@std.uestc.edu.cn(姚东) ; yiminzhou@uestc.edu.cn(周益) ; hzqiu@uestc.edu.cn(邱会) ; 24 11 2015 05 11 410 420 © Copyright 2014 by authors and Scientific Research Publishing Inc. 2014 This work is licensed under the Creative Commons Attribution International License (CC BY). http://creativecommons.org/licenses/by/4.0/

针对CIS (Contact Image Sensor)宽幅扫描仪多根CIS传感器之间存在的物理差异导致采集到图像存在色彩差异的问题，提出了一种基于多传感器像素映射的图像色差一致性校正算法。针对特殊的工程图纸存在底色干扰问题，提出了一种底色消除像素映射算法，以最大可能的保留图像内容和细节。由于多根CIS传感器安装位置存在交叉，导致直接采集到的图像边缘有像素重叠现象，需要对采集图像进行融合与拼接。本文提出了一种行匹配的窗口算法实现图像的融合拼接。测试结果表明，色差一致性校正算法、底色消除算法和图像边缘融合拼接算法能有效解决CIS宽幅扫描仪技术问题，具备良好的算法性能与图像处理效果。 A correction algorithm of chromatic aberration is proposed by mapping functions for different sensors, which have physical differences leading to chromatic aberration, when scanned by CIS. A new algorithm of pixel mapping function is proposed, which can eliminate the background noise of drawings and retain some important contents and details. An algorithm of matching line window is also proposed, which can solve the problem of image fusion and combination. It is called pixel overlap from two images due to intersecting location of sensors. The final test shows that the algorithm of chromatic aberration and the algorithm of pixel mapping function can solve the key problems by CIS effectively with good performance and image processing effects.

 色差校正，像素映射，脉冲耦合的神经网络，图像融合, Correction for Chromatic Aberration Pixel Map PCNN Image Fusion 宽幅扫描仪色差一致性校正与边缘融合拼接<sup> </sup>

姚东东1，周益民1，邱会中2

1电子科技大学计算机科学与工程学院，四川 成都

2电子科技大学无锡研究院，江苏 无锡

收稿日期：2015年11月5日；录用日期：2015年11月21日；发布日期：2015年11月27日

 摘 要

针对CIS (Contact Image Sensor)宽幅扫描仪多根CIS传感器之间存在的物理差异导致采集到图像存在色彩差异的问题，提出了一种基于多传感器像素映射的图像色差一致性校正算法。针对特殊的工程图纸存在底色干扰问题，提出了一种底色消除像素映射算法，以最大可能的保留图像内容和细节。由于多根CIS传感器安装位置存在交叉，导致直接采集到的图像边缘有像素重叠现象，需要对采集图像进行融合与拼接。本文提出了一种行匹配的窗口算法实现图像的融合拼接。测试结果表明，色差一致性校正算法、底色消除算法和图像边缘融合拼接算法能有效解决CIS宽幅扫描仪技术问题，具备良好的算法性能与图像处理效果。

关键词 :色差校正，像素映射，脉冲耦合的神经网络，图像融合

 1. 引言

随着光学扫描技术的不断发展，接触式图像传感器(contact image sensor, CIS)，凭借在成像系统中功耗低、体积小、结构简单、成本低廉等特点，已经成为扫描图像传感器的先导力量，并广泛应用于宽幅扫描仪。与此同时，CIS传感器的宽幅扫描仪设备相关图像处理问题也成为研究的热点，在工程应用和产品研发中备受业界重视。CIS扫描图像的质量直接影响后续的处理与分析的结果，一直受到海内外学者的广泛关注[ 1 ] 。

在宽幅扫描的应用情境下，物理差异的CIS传感器采集图像不可避免地存在色彩差异(色差)现象。这将影响重现图像的视觉质量。因此，对多CIS传感器采集图像进行色差校正是必要的[ 2 ] [ 3 ] 。通常来讲，色差校正有三个主要的研究方向：第一，改变传感器的物理结构。Hayama M [ 4 ] 、Okamura M [ 5 ] 采用新的工艺材料制作感光单元，实现了宽幅扫描。第二，通过控制曝光时间将采集图像拉伸到高动态范围[ 6 ] -[ 9 ] 。这种方法通常计算量较大，不利于硬件的实现。第三，通过分段校正图像达到提高质量的效果。其中，庞龙驰[ 10 ] 采用复频谱色度理论对色差进行校正，利用变换颜色空间来达到校正的目的。对于真实机械设备存在较大的校正误差。黄世存[ 11 ] 根据局部色差不明显的图像特征去校正其余图像的内容，自适应方面有所欠缺。此外，扫描文件往往存在底色干扰问题。针对扫描图像的底色的消除问题，往往采用二值化处理[ 12 ] [ 13 ] 。二值化处理会丢失图像内容的许多细节，如红色印章的原始色彩等。为了保证图纸的完整信息，二值化处理不是最佳的方法。对于图像的融合拼接，脉冲耦合神经网络[ 14 ] (Pulse Coupled Neural Network, PCNN)常常被引入，用于对图像进行去噪，边缘检测，内容提取和图像识别等。张学武[ 15 ] 利用PCNN的方法首先获取图像的边缘信息，然后再进行模板匹配[ 15 ] ，实现了图像融合。

本文针对分离的CIS传感器扫描图像的色差不一致，利用不同灰度色带呈现的线性相关性，构造色差校正函数处理RGB三分量矩阵。对于工程图纸的扫描图像，为了消除底色且保留完整的细节信息，进一步拓展了色差校正算法，采用低通滤波平滑底色图像，构造底色消除函数处理工程图纸图像的RGB三分量矩阵。分离CIS传感器采集图像含有重叠部分，对于重叠部分融合与拼接，采用PCNN的方法得到原始图像边缘信息，利用行窗口进行重叠像素值精确匹配。最后，采用行窗口大小作为渐变因子的分母，进行均值融合。

本文的组织结构是第2章提出了一种色差一致性与底色消除算法，第3章提出了融合与拼接算法，第4章中进行算法测试和性能，最后第5章对全文进行总结。

 2. 色差一致性校正与底色消除

宽幅扫描仪的内部基本结构如图1所示。它是由多CIS传感器交叉分离拼接组成。传感器元器件之间存在的物理属性差异和工作环境的干扰很难避免。因此直接扫描获得的图像存在必然的色彩差异，这将影响扫描仪成像和产品的视觉效果。构造与不同传感器相应的色差一致性校正函数，强化图像质量将对产品性能提升提供软件支持，以取得好效果。如前所述，二值化对于工程图纸的扫描图像，处理效果不是最佳，而消除底色(蓝色)是必要的，色差校正可以消除底色，保留内容、细节信息。

2.1. 色差映射与建模

如图2所示是不同RGB值构造的色带图，其中数值代表RGB分量分别取的相同像素值。第1行是第2行像素值对应的着色图像。像素值的范围从75~255。图3是图2所示的色带在一根CIS传感器上采集直接获得的图像。

根据采集的色带图像的RGB分量与理论像素值之间构造对应关系，如图4所示，将采集图像中每个色带的RGB分量的均值与理论像素值离散点对应关系图，其中 表示相应曲线的皮尔森系数。据此散点图可以拟合成线性函数。构造线性函数解决色差不一致性问题是成立的。

由于不同传感器对于相同色带会有不同扫描图像，为此根据不同传感器采集的色带图像，构造每个传感器相应的RGB分量校正函数。

 2.2. 色差校正

根据扫描净白样纸和净黑样纸图像，计算RGB分量矩阵均值分别为 、 、 (净白)和 、 、 (净黑)，其中 为CIS传感器标号， ， 表示总的传感器数目。构造线性方程方程如式(1)所示。

其中 、 、 为对应每个RGB分量线性函数的参数，即斜率和截距。计算每个线性函数中相应的参数。得到如式(2)所示的线性函数。对应图4实验模型中的线性函数。

其中 、 、 即为相应的RGB分量矩阵对应像素校正后的像素值，将其级联得到最后的校正图像。同样地，其它的传感器采集净黑和净白样纸，计算RGB三分量的均值，构造RGB三分

图1. 宽幅扫描仪内部示意图

图2. 色带

图3. 色带扫描图

图4. 实验模型

量线性函数，校正与传感器相应的采集图像。

 2.3. 底色消除

拓展色差一致性校正算法，通过提取采集图像的底色，将其映射到白，利用净黑的映射关系，将两个对应关系联立，构造消蓝函数。

利用低通滤波处理采集的工程图纸图像，使其平滑，截取其中部分背景底色图像。由于巴特沃斯低通滤波(BLPF)介于理想滤波器和高斯滤波器之间，可以平滑处理。所以选择BLPF进行平滑处理，如式(3)所示。在提取背景之前，裁剪边缘毛边，降低后续均值计算误差。而后需要对原始的RGB的三分量进行傅里叶变换，转换成实数据矩阵 。

其中 表示低通滤波的转换函数， 和 分别表示分量矩阵的行标和列标。 和 分别是分量矩阵的宽和高， 是BLPF的阶数，等于2(过高避免振铃现象明显)。 为截止频率距远点的距离，根据经验， 取值为常数170，将 作为系数依次与矩阵中对应像素相乘，得到新的矩阵。

通过转换函数 转换得到的新的数据矩阵，把计算的结果逆傅里叶变换，取出数据矩阵的实数部分，级联RGB三分量可以获得底色图像。如图5所示，图5(a)是巴特沃斯滤波后的图像，截取其中较平滑的部分如图5(b)所示。

计算图像的RGB三分量均值，将其映射到255(白)。色差校正算法中各个CIS净黑样纸采集并计算的均值映射关系，计算斜率和截距参数，构造底色消除线性函数类似于式(2)，如公式(4)所示，其中 、 是对应分量的斜率和截距组成的对偶。

利用上述思想构造新的式(4)。用该函数对采集的待消除底色图像的RGB分量矩阵进行消除底色计算。最后将计算结果级联获得消除底色的图像。

图5. 实验采集工程蓝图

 3. 融合与拼接

在对分离CIS采集的图像进行上述色差一致性校正后，需各个分量融合与拼接，合成一副完整图像。该过程分为四个步骤。第一步，用基于脉冲耦合的神经网络，进行图像边缘信息的提取；此步骤得到图像的二进制表示。第二步，用欧式距离进行行窗口匹配计算，记录每行最佳匹配位置；第三步，根据最佳的匹配位置和行窗口的大小进行图像每个分量的边缘均值融合；第四步，将图像剩余部分直接行拼接。在实际项目应用中，容易预先获知每个CIS传感器的重叠区域的像素个数大致范围，因此可以减少搜索范围，且精度较高。

3.1. 提取边缘信息

采用PCNN方法提取图像的边缘信息。PCNN是基于脉冲耦合的神经网络，直接来源于哺乳动物视觉神经系统研究 [ 16 ] ，它区别于其他神经网络之处是，不需要训练集，因此比较适合于解决图像处理问题。

如图6所示为PCNN的简化模型，其中 为耦合链接输入，是对外部刺激输入进行耦合； 为链接强度系数； 为外部刺激输入，即R分量像素值进行归一化的结果； 、 为衰减系数，衰减内部活动项的内容，以使它降低； 、 为幅度系数； 为迭代的输入输出； 为加权系数矩阵，即核卷积矩阵，反映了中央神经元受周围神经元的影响； 为内部活动项； 为动态门限矩阵，决定了内部活动项能够恢复到的值。

如图7所示，图7(a)是灰度图，图7(b)是图7(a)经PCNN处理迭代3次的边缘信息图。

 3.2. 行窗口匹配

针对项目情况，由于设计的CIS传感器之间重叠像素大致确定。可据具体产品得到相邻两幅图像重叠的像素有 个，将预设的行窗口的列的数目为 。具体过程为，在第一幅图像的右侧边缘逐行取行窗口，与第二幅图像的左侧的边缘处相应的附近行上下进行欧式距离计算(如式(5))，寻找并记录第一幅R分量矩阵的每行与第二幅R分量矩阵每行欧式距离最小的点位置坐标。

将第二个R分量矩阵每行的最佳匹配位置的坐标记录到数组 ，其中 表示图像高。 将用于后续行拼接过程计算。

 3.3. 融合

根据上步记录到的最佳位置坐标，为了使两幅图像的边缘融合处没有缝隙，采用均值融合的方式进行重叠像素值的均值融合。将第一幅图像的RGB分量矩阵的右侧边缘与第二幅图像的RGB分量矩阵的左侧边缘 中值，利用如下公式(6)进行逐像素依赖窗口大小 的均值求和。这样使得边缘处的像素呈现渐变的状态，使融合部分的左侧的接近第一幅图像的色度，融合部分的右侧接近第二幅图像的色度。

此外，行融合相比于多行多列的窗口的融合，精确度更高，而且在该项目中相比于全幅图像中寻找合适的位置计算量小。

如图8所示，图8(a)和图8(b)是存在色差两幅图像，图8(c)是进行行融合的结果。

 3.4. 拼接

行拼接即是将第二幅图像去除已经融合的部分，剩余的图像逐行拼至融合的末尾。

选取 中最大值，意味着该行的剩余部分将是最小的拼接列数，只能以该行的列数作为拼接列数，否则第二幅图像的右侧边缘出现锯齿，所以只能以该数目作为第二幅图像的统一拼接列数，目的是为了统一待拼接的第二幅图像的拼接部分。从而避免第二幅图像的右侧边缘出现锯齿状。依此，每行都按照该数目去拼接剩余的行。如图8(c)所示，是将后续像素拼接的结果图。

 4. 算法实现框架

色差校正的框架，如图9所示。首先用同一CIS管扫描均匀净黑、均匀净白两张样纸，裁掉采集到

图6. PCNN简化模型

图7. PCNN实验

图8. 融合拼接实验

的图像边缘的毛边，分别提取两幅裁剪后的净黑和净白样纸图像的RGB分量矩阵，计算获得每个分量矩阵的均值。将净白样纸图像计算的每个RGB分量矩阵的均值映射到255(白)；将净黑样纸图像计算的每个RGB分量矩阵的均值映射到0(黑)。然后，根据三组均值构造出函数。这三个映射函数将被应用于校正原始采集图像的RGB三分量值。

底色消除是将工程图纸的采集图像进行统一蓝色消除。如图10所示为底色消除的架构，将采集到的工程图纸图像进行巴特沃斯(BLPF)低通滤波，得到平滑图像，截取一部分空白区作为背景。理想情况下是均匀的纯色图像，但是由于图纸在制作过程中受到外部因素(光照、图纸褶皱)的影响，使其颜色并不均匀。利用色差一致性校正的思想，将背景映射到255(白)，利用净黑样纸图像的均值映射关系，将两者一一对应构造底色消除的校正函数。用上述线性函数，校正CIS采集的工程图纸图像。

如图11所示，是图像边缘融合和拼接的实现。为了将图像的各个分量统一融合，只提取RGB三分量中的R分量进行行匹配计算。将R分量匹配的参数，用于剩余的两个分量。为此，首先分别提取待拼接的两幅图像的R分量矩阵，用基于PCNN的方法分别提取到两个R分量的边缘信息。采用行窗口匹配的方法，在第二个R分量矩阵上找出与第一幅图像的R分量矩阵每行最佳匹配的位置，进行行融合，去除第二幅图像左侧边缘融合的部分，将剩余部分拼接至上步融合的边缘。

 5. 测试与分析

测试环境使用版本为2010b的MATLAB，运行环境4G内存，Core-i5-4590，3.30 GHz，64位Windows8.1操作系统进行测试。

如图12(a)所示为五幅由于传感器物理差异和周围环境的影响造成的存在色差的图像。并且相邻两幅图像之间由于传感器安装位置有交叉造成的相邻图像之间有大致20个像素重叠。

如图12(b)是图12(a)通过式(2)，用5组映射函数分别对图12(a)五幅图像的RGB分量色差校正，并将每幅图像校正RGB分量矩阵级联。

图12(c)~12(f)是搜索窗口依次是15，20，25,50两幅存在色差图像融合拼接的边界图，发现搜索窗口

图9. 色差校正算法框架

图10. 底色消除算法框架

图11. 图像的融合算法与拼接

图12. 色差一致性校正与融合拼接效果图；(a) 存在色差；(b) 色差校正；(c) 搜索窗口15；(d) 搜索窗口20；(e) 搜索窗口25；(f) 搜索窗口50；(g) 搜索窗口50，色差图融合拼接；(h) 色差校正后融合拼接

50计算匹配位置较精确，相邻两幅图像之间的缝隙不再那么明显，效果较好。

图12(g)是搜索窗口50对存在色差的五幅图像进行融合拼接的结果。图12(h)是对图12(b)进行融合拼接的结果。在实际应用中，先进行色差校正，然后再融合拼接。

如图13(a)所示是工程图纸扫描经扫描仪采集到的图，图13(b)是图13(a)白框区域局部放大图。

图13(c)是图13(a)用式(3)获得的背景图像采用式(2)的思路，进行底色消除算法后的效果图，图13(d)是图13(a)中白框所示消除背景的局部放大图。分析显示，该方法确实保留了工程图纸的细节信息。

图13. 底色消除效果图

 6. 结束语

在基于CIS的宽幅扫描仪上进行的色差校正和图像的融合与拼接在实际中严重影响图像的视觉效果，本文提出的方法较好的解决了上述问题。实际情况中工程图纸的背景可能不均匀，或者褶皱影响，所以先要对其初始图像的底色进行均匀化处理。此外，在图像扫描过程中可能由于电压不稳定等因素，造成图像的局部拉伸或收缩问题，图像的几何校正问题是下一步将开展的工作。

 基金项目

本文受四川省科技计划项目No. 2014GZ0005；博士后基金面上项目No. 2014M552342资助。

 文章引用

姚东东,周益民,邱会中. 宽幅扫描仪色差一致性校正与边缘融合拼接 Fusion and Combination of Margins for Large Format Scanner[J]. 计算机科学与应用, 2015, 05(11): 410-420. http://dx.doi.org/10.12677/CSA.2015.511052

 参考文献 (References) References Gao, X., Lu, W., Tao, D., et al. (2009) Image Quality Assessment Based on Multiscale Geometric Analysis. IEEE Transactions on Image Processing, 18, 1409-1423. http://dx.doi.org/10.1109/TIP.2009.2018014 Haddad, Z., Beghdadi, A., Serir, A. and Mokraoui, A. (2010) Image Quality Assessment Based on Wave Atoms Transform. 17th IEEE International Conference on Image Processing (ICIP), Hong Kong, 26-29 September 2010, 305-308. Liu, M. and Yang, X. (2009) Image Quality Assessment Using Contourlet Transform. Optical Engineering, 48, 107201. Hayama, M. (1990) Characteristics of p-i Junction Amorphous Silicon Stripe-Type Photodiode Array and Its Application to Contact Image Sensor. IEEE Transactions on Electron Devices, 37, 1217-1219.
http://dx.doi.org/10.1109/16.108189 Okamura, M., Kimura, K., Shirai, S. and Yamauchi, N. (1994) A Light-Transmitting Two-Dimensional Photodetector Array Using a-Si Pin Photodiodes and Poly-Si TFT’s Integrated on a Transparent Substrate. IEEE Transactions on Electron Devices, 41, 180-185.
http://dx.doi.org/10.1109/16.277382 Sato, S., Okada, Y. and Azuma, T. (2012) Real-Time Computational Camera System for High-Sensitivity Imaging by Using Combined Long/Short Exposure. SPIE Proceedings, 8296, 829612-1-829612-10. Schleicher, D.C.H. and Zagar, B.G. (2010) High Dynamic Range Imaging by Varying Exposure Time, Gain and Aperture of a Video Camera. IEEE Instrumentation and Measurement Technology Conference (I2MTC), Austin, TX, 3-6 May 2010, 486-491. Fanti, G. and Basso, R. (2008) Digital Imaging Exposure-Time Optimisation of Tripod-Camera Vibrating Systems Based on MTF. ASME 2008 9th Biennial Conference on Engineering Systems Design and Analysis, Haifa, 7-9 July 2008, 373-380.
http://dx.doi.org/10.1115/esda2008-59196 Pillman, B. and Jasinski, D. (2011) Camera Exposure Determina-tion Based on a Psychometric Quality Model. Journal of Signal Processing Systems, 65, 147-158.
http://dx.doi.org/10.1007/s11265-011-0612-z 庞也驰, 李志杰, 虞朝阳, 等. 一种基于复频谱色度理论对大幅面扫描仪颜色色差进行校正的方法[P]. 中国专利, CN201310682325. 8, 2013-12-12. 黄世存, 傅俏燕, 曾湧, 等. 一种基于最近邻统计的CCD图像色差消除方法[P]. 中国专利, CN201410163278. 0, 2014-04-22. 杨明亮. 工程扫描仪软件中插值和消蓝算法的应用研究[D]: 硕士学位论文. 西安: 西安电子科技大学, 2007: 27-36. 张炜. 工程图纸白图替代蓝图的思考[J]. 电力勘测设计, 2010(1): 73-76. 顾晓东, 程承旗, 余道衡. 基于粗集与PCNN的图像预处理[J]. 北京大学学报, 2003, 39(5): 703-708. 张学武, 王岩, 孙浩, 等. 基于脉冲耦合神经网络的红外图像拼接[J]. 光电子•激光, 2013, 24(3): 578-582. Eckhorn, R., Reitboeck, H.J., Arndt, M. and Dicke, P. (1990) Feature Linking via Synchronization among Distributed Assemblies: Simulation of Results from Cat Cortex. Neural Computation, 2, 293-307.
http://dx.doi.org/10.1162/neco.1990.2.3.293
Baidu
map