2017年第6期信息与电脑China Computer&Communication算法语言基于改进空间频率的红外与可见光图像融合李 鹏 黄亚飞 欧阳柳茜 龚 湘（长沙理工大学，湖南 长沙 410114）摘 要：研究可见光图像和红外图像的融合方法，提出基于Contourlet变换和改进空间频率的图像融合算法，将原图像进行Contourlet变换后，再对低频和高频成分采用不同的融合规则，改进后的算法克服了传统空间频率的缺陷。实验表明，采用该方法得到的融合图像能同时保留红外图像与可见光图像中的关键信息和细节，该方法的融合效果优于基于小波变换的传统方法。关键词：图像融合；Contourlet变换；图像增强；空间频率中图分类号：TN911.7 文献标识码：A 文章编号：1003-9767（2017）06-0-03Infrared Image and Visible Image Fusion based on Improved Spatial FrequencyLi Peng, Huang Yafei, Ouyang liuqian, Gong XiangAbstract: Visible image and infrared image fusion method is researched in this paper, a novel image fusion algorithm based on contourlet transform and improved spatial frequency is proposed. After contourlet transform, low frequency and high frequency components of the original image are fused with different rules, the improved algorithm overcomes the defect of traditional space frequency algorithm. Experiments show that the fusion image can be achieved by the method while retaining the key information and details of infrared image and visible image, our method of fusion effect is superior to traditional method based on wavelet transform.Key words: image fusion; Contourlet transform; image enhancement; spatial frequency(Changsha University of Science & Technology, Changsha Hunan 410114, China)１ 概述数字图像能直观地反映现实场景，但单一图像传感器只能在特定条件下提供有限信息，若使用多幅图像来描述同一场景则可能带来大量冗余，从而占用大量存储空间、延长分析时间。为了能更充分地利用图像信息并节省存储空间，图像融合技术应运而生，最常见的要数可见光图像与红外光图像的融合。可见光能获取场景中清晰的细节、大量的颜色、丰富的信息，便于人眼对场景形成整体认识并便于观察细节，但可见光成像传感器在恶劣天气、夜视环境下的成像能力差。红外成像传感器通过探测目标场景与背景之间的温度差来识别目标，受环境影响较小，但图像存在噪声大、图像模糊、视觉效果差、对比度低等缺点。鉴于两者各自的优缺点，本文采用Contourlet变换和改进空间频率方法将红外与可见光图像融合，实现对目标场景的清晰呈现。２ 图像融合理论图像融合的概念最早出现在20世纪70年代，其基本原理是利用多传感器之间信息的互补性与冗余性，将两个或两个以上传感器收集到的图像信息加以融合，从而生成一幅新的对原场景描述更全面、准确的图像。图像融合过程通常有以下三个步骤：（1）在图像融合前进行预处理，如图像配准、图像去噪、图像增强等；基金项目：湖南省大学生研究性学习和创新性实验计划项目（项目编号：201610536940）；长沙理工大学研究性学习和创新性实验计划项目。作者简介：（1998-），男，安徽太和人，本科在读。研究方向：电子信息工程。— ８９ —算法语言信息与电脑China Computer&Communication2017年第6期（2）对图像使用特定的融合算法进行融合；（3）对融合图像进行评价。近年来，随着传感器技术和计算机数据处理能力的提高，图像融合技术已被广泛应用于医学影像、机器视觉、遥感成像、军事等领域。４ 实验结果与分析为了验证本文算法的融合效果，图1给出了两幅图像的融合结果，并与基于离散小波变换的融合方法进行对比。由图1可以看出，本文基于Contourlet变换和改进空间频率的图像融合方法，能清晰分辨人和光源这两个关键目标，且保留了房屋和树木的细节，而基于小波变换的融合方法出现了少许伪轮廓，在细节表现方面也不太理想。３ 基于Ｃｏｎｔｏｕｒｌｅｔ变换和改进空间频率的图像融合Contourlet变换是Do和Vetterli提出的，它是一个多尺度、多分辨率的方法。Contourlet基的支撑区间是随尺度变化的长条形状，从而在局部比小波变换有多方向性和各向异性的优势，能有效捕捉图像的边缘和轮廓信息。传统空间频率只考虑水平方向和垂直方向的频率，这会导致损失其他方向的信息。本文改进传统空间频率方法，加入45度对角线频率，结合Contourlet变换对图像进行融合，融合过程如下：（1）对红外光图像进行直方图匹配，再对可见光图像和直方图匹配后的红外光图像进行Contourlet变换，分别得到其低频粗糙图像和高频细节图像；（2）对低频粗糙图像进行基于区域能量方法的融合；（3）对高频细节图像进行基于改进空间频率方法的融合；（4）对融合后的低频粗糙图像和高频细节图像进行Contourlet反变换重建得到融合图像。3.1 低频融合规则选择区域能量作为融合低频子带的规则。区域能量计算公式如下所示。 (a)原红外光图像 (b)原可见光图像 E(i,j) =1112p(i+m,j+n) ∑∑9m=−1n=−1（1） (c)基于小波变换的融合图像 (d)本文方法的融合图像图１ 图像融合实验结果其中p(i+m,j+n)表示(i+m,j+n)的像素值，E(i,j)表示(i,j)的区域能量。通过式（1）得到红外光图像和可见光图像的区域能量EI (i,j)和EV (i,j)，若EI (i,j)＞EV (i,j)，则融合图像子带的值取为红外光图像子带的值，否则取可见光图像子带的值。3.2 高频融合规则采用改进的空间频率和自适应因子来融合高频成分。改进空间频率定义如下。 Fs(i,j)=表1是两种方法所得融合图像的信息熵、空间频率和标准差等三个客观指标值，相比基于小波变换的方法，本文方法的各指标值有明显改善，表明融合图像在信息丰富度、对比度、整体空间表达方面有明显提升。表１ 融合实验结果的客观指标图像融合方法基于小波变换本文方法评价指标信息熵6.74956.8229空间频率9.90211.7578标准差31.329333.0791Fh(i,j)2+Fv(i,j)2+Fl(i,j)2+Fr(i,j)2 （2）FS (i,j)表示(i,j)的空间频率，Fh (i,j)和FS (i,j)分别表示行频率和列频率，Fl (i,j)和Fr (i,j)分别表示左对角线和右对角线频率。在位置(i,j)的高频系数计算如下。 p(i,j)=pI(i,j)×FsI(i,j)×α+pV(i,j)×FsV(i,j)×β FsI(i,j)×α+FsV(i,j)×β５ 结 语无论是在工业生产线检测中，还是医学图像融合中，甚至在国防科技中图像融合技术都起到了重要的作用。本文主要从图像的分解重构及红外图像与可见光图像融合算法的改进和融合规则方面进行了相关研究，提出了基于Contourlet变换和改进空间频率的图像融合算法。低频成分使用区域能量算法融合，高频成分基于改进空间频率算法进行融合，融合图像保留了原图的关键信息和细节。实验结果表明，本文（下转第93页）（3）pI (i,j)和pV (i,j)分别表示红外光图像和可见光图像在相同分解阶和相同方向的系数，Fsl (i,j)和FsV (i,j)表示两种图像高频子带的空间频率，α和β是校正因子，取值在0～1。 — ９０ —2017年第6期信息与电脑China Computer&Communication算法语言４ 结 语应变Si材料具有载流子迁移率高、带隙可调，且与成熟Si工艺兼容等特点，是当前微电子技术发展的重点和热点。笔者基于单轴应变Si NMOS器件结构特点，建立了阈值电压模型，该模型充分考虑了应力对阈值电压的影响，分析了短沟道和窄沟道等效应对器件阈值电压的影响，仿真结果表明与理论分析结果一致，为应变技术的发展和应用提供了理论支撑。Determination of conduction band edge characteristics of strained Si/Si1-xGex[J]. Chinese Physics, 2007, 16(12):3827-3831.[5]Olayiwola Alatise,Sarah Olsen,Anthony O’Neill.Linearity and mobility degradation in strained Si MOSFETs with thin gate dielectrics[J].Solid-State Electronics,2010,54(6):628-634.[6]Wang Guan-Yu,Zhang He-Ming,Wang Xiao-Yan, et al.Two-dimensional threshold voltage model of sub-100 nm strained-Si/SiGe nMOSFET[J].Acta Physica Sinaca,2011,60(7):77106.[7]C K Maiti,S Chattopadhyay,L K Bera.Strained-Si Heterostructure Field Effect Devices[M].Taylor & Francis Group,2007.[8]Nayfeh Hasan M,Hoyt J L,Antoniadis D A.A physically based analytical model for the threshold voltage of strained-Si n-MOSFETs[J].IEEE Transactions on Electron Devices,2004,51(12):2069-2072.[9]Zhang Zhi-Feng,Zhang He-Ming,Hu Hui-Yong, et al.Threshold voltage model of strained Si channel nMOSFET[J].Acta Physica Sinaca,2009,58(7):4948-4952.[10]Suzuki K.Short channel epi-MOSFET model[J].IEEE Transactions on Electron Devices,2002,47(12):2372-2378.参考文献[1]张鹤鸣,崔晓英,胡辉勇,等.应变SiGe SOI 量子阱沟道PMOSFET阈值电压模型研究[J].物理学报,2007(6):3504-3508.[2]Lim J S,Thompson S E,Fossum J G. Comparison of threshold-voltage shifts for uniaxial and biaxial tensile-stressed n-MOSFETs[J].IEEE Electron Device Letters,2004,25(11):731-733.[3]Li Jin,Liu Hong-xia,Li Bin, et al. Study on two-dimensional analytical models for symmetrical gate stack dual gate strained silicon MOSFETs[J]. Chinese Physics B, 2010, 19(10):492-498. [4]Song Jian-jun,Zhang He-ming,Hu Hui-yon, et al. （上接第90页）方法比基于小波变换的方法，无论是在主观视觉上还是客观指标上，融合图像的质量都有较大提高。Cybernetics(IHMSC), 2013: 453-456.[2] 陈浩,王延杰.基于拉普拉斯金字塔变换的图像融合算法研究[J].激光与红外,2009,39(4):339-442.[3] 张丽侠,张力,艾海滨.改进IHS变换的图像融合方法研究[J].测绘科学,2011,36(6):149-151.[4] 张伟,曾凡仔,曾庆光.基于压缩感知理论的图像融合方法[J].计算机工程与应用,2012,48(12):194-197.[5] 周渝人,耿爱辉,张强,等.基于压缩感知的红外与可见光图像融合[J].光学精密工程,2015,23(3):855-863.参考文献[1] Xu F, Su S. An Enhanced Infrared and Visible Image Fusion Method Based on Wavelet Transform[C]//International Conference on Intelligent Human-Machine Systems and — ９３ —
