2.793

2018影响因子

(CJCR)

  • 中文核心
  • EI
  • 中国科技核心
  • Scopus
  • CSCD
  • 英国科学文摘

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于FPDE的红外与可见光图像融合算法

高雪琴 刘刚 肖刚 BAVIRISETTIDurga Prasad 史凯磊

高雪琴, 刘刚, 肖刚, BAVIRISETTIDurga Prasad, 史凯磊. 基于FPDE的红外与可见光图像融合算法. 自动化学报, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
引用本文: 高雪琴, 刘刚, 肖刚, BAVIRISETTIDurga Prasad, 史凯磊. 基于FPDE的红外与可见光图像融合算法. 自动化学报, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
GAO Xue-Qin, LIU Gang, XIAO Gang, BAVIRISETTI Durga Prasad, SHI Kai-Lei. Fusion Algorithm of Infrared and Visible Images Based on FPDE. ACTA AUTOMATICA SINICA, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
Citation: GAO Xue-Qin, LIU Gang, XIAO Gang, BAVIRISETTI Durga Prasad, SHI Kai-Lei. Fusion Algorithm of Infrared and Visible Images Based on FPDE. ACTA AUTOMATICA SINICA, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188

基于FPDE的红外与可见光图像融合算法


DOI: 10.16383/j.aas.2018.c180188
详细信息
    作者简介:

    高雪琴  上海电力学院自动化工程学院硕士研究生.主要研究方向为图像融合. E-mail: gxq0163@163.com

    肖刚  上海交通大学航空航天学院教授. 2004年获得上海交通大学博士学位.主要研究方向为先进航空电子综合仿真, 智能信息处理.E-mail:xiaogang@sjtu.edu.cn

    BAVIRISETTI Durga Prasad  上海交通大学航空航天学院博士后. 2016年获得印度韦洛尔科技大学博士学位.主要研究方向为图像融合, 目标跟踪, 机器学习和计算机视觉. E-mail:bdps1989@sjtu.edu.cn

    史凯磊  上海电力学院自动化工程学院硕士研究生.主要研究方向为机器视觉. E-mail: 18321779651@163.com

    通讯作者: 刘刚 上海电力学院自动化工程学院教授. 2005年获得上海交通大学博士学位.主要研究方向为模式识别, 机器学习.本文通信作者. E-mail: liugang@shiep.edu.cn
  • 本文责任编委 黄庆明
  • 基金项目:

    国家重点基础研究发展计划(973计划) 2014CB744903

    国家自然科学基金 61673270

    国家自然科学基金 61203224

    上海浦江人才计划 16PJD028

Fusion Algorithm of Infrared and Visible Images Based on FPDE

More Information
    Author Bio:

    GAO Xue-Qin   Master student at the School of Automation Engineering, Shanghai University of Electrical Power, China. Her main research interest is image fusion

    XIAO Gang   Professor at the School of Aeronautics and Astronautics, Shanghai Jiao Tong University, China. He received his Ph. D. degree from Shanghai Jiao Tong University, China in 2004. His research interest covers advanced avionics integrated simulation and intelligent information processing

    BAVIRISETTI Durga Prasad   Postdoctor at the School of Aeronautics and Astronautics, Shanghai Jiao Tong University. He received his Ph. D. degree from Vellore Institute of Technology, India. His research interest covers image fusion, target tracking, machine learning, and computer vision

    SHI Kai-Lei   Master student at the School of Automation Engineering, Shanghai University of Electrical Power, China. His main research interest is machine vision

    Corresponding author: LIU Gang  Professor at the School of Automation Engineering, Shanghai University of Electrical Power, China. He received his Ph. D. degree from Shanghai Jiao Tong University, China in 2005. His research interest covers pattern recognition and machine learning. Corresponding author of this paper
  • Recommended by Associate Editor HUANG Qing-Ming
  • Fund Project:

    National Basic Research Program of China (973 Program) 2014CB744903

    National Natural Science Foundation of China 61673270

    National Natural Science Foundation of China 61203224

    Shanghai Pujiang Talent Program 16PJD028

  • 摘要: 针对传统红外与可见光图像融合算法中存在的细节信息不够丰富, 边缘信息保留不够充分等问题, 文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解, 得到高频分量和低频分量; 然后, 对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像, 对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像; 最后, 通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的, 并与传统的和最近的融合方法进行比较, 结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息, 有更好的视觉效果.
    本文责任编委 黄庆明
    Recommended by Associate Editor HUANG Qing-Ming
  • 图  1  本文算法的流程图

    Fig.  1  Flow chart of the algorithm of this paper

    图  2  "dune"图像的融合结果

    Fig.  2  The fusion result of image "dune"

    图  3  "pavilion"图像的融合结果

    Fig.  3  The fusion result of image "pavilion"

    图  4  "maninhuis"图像的融合结果

    Fig.  4  The fusion result of image "maninhuis"

    图  5  "UN Camp"图像的融合结果

    Fig.  5  The fusion result of image "UN Camp"

    图  6  其他6组图像的融合结果

    Fig.  6  The fusion result of other six groups of images

    表  1  "dune"的融合结果的客观指标评价结果

    Table  1  Objective evaluation result of the fusion result of "dune"

    融合方法 MI IE SD EIPV
    GRAD 1.2948 4.9 37.9309 0.4278
    RATIO 0.7248 4.2485 18.5883 0.3546
    DWT 0.6542 4.3821 21.0136 0.3841
    FPDE 0.7339 4.2997 19.6550 0.4821
    CVT-SR 1.5809 4.8953 38.4630 0.4408
    VSM 0.7053 4.3278 20.1876 0.4085
    本文方法 2.4647 5.0006 41.2892 0.5106
    下载: 导出CSV

    表  2  "pavilion"的融合结果的客观指标评价结果

    Table  2  Objective evaluation result of the fusion result of "pavilion"

    融合方法 MI IE SD EIPV
    GRAD 1.9984 4.4074 26.9211 0.4625
    RATIO 1.2350 4.4073 25.5996 0.3724
    DWT 1.1351 4.4671 28.2542 0.4197
    FPDE 1.3621 4.3829 25.8059 0.3846
    CVT-SR 1.3812 5.2110 48.8611 0.4251
    VSM 1.2409 4.4436 27.8868 0.4451
    本文方法 3.1240 4.8207 59.5605 0.4671
    下载: 导出CSV

    表  3  "maninhuis"的融合结果的客观指标评价结果

    Table  3  Objective evaluation result of the fusion result of "maninhuis"

    融合方法 MI IE SD EIPV
    GRAD 1.6169 4.7116 28.0854 0.4814
    RATIO 0.9408 4.6744 26.7289 0.3857
    DWT 0.9312 4.7941 30.4888 0.4371
    FPDE 1.0689 4.7081 27.4131 0.4516
    CVT-SR 1.3302 5.151 46.7314 0.5015
    VSM 1.0296 4.760 29.3688 0.4921
    本文方法 3.2612 5.036 57.1928 0.5091
    下载: 导出CSV

    表  4  "UN Camp"的融合结果的客观指标评价结果

    Table  4  Objective evaluation result of the fusion result of "UN Camp"

    融合方法 MI IE SD EIPV
    GRAD 1.3059 4.8571 36.0841 0.3918
    RATIO 1.0455 4.3359 22.9454 0.3895
    DWT 1.0314 4.4535 24.9950 0.3641
    FPDE 1.0894 4.3503 22.9777 0.4234
    CVT-SR 1.1538 4.7549 32.5279 0.3635
    VSM 1.0753 4.3991 23.9920 0.4064
    本文方法 2.5529 4.9069 41.5711 0.4461
    下载: 导出CSV

    表  5  其他6组图像客观评价结果

    Table  5  Objective evaluation result of the other six groups of images

    融合方法 GRAD RATIO DWT FPDE CVT-SR VSM 本文方法
    MI 1.9322 1.3495 1.2301 1.3235 1.4803 1.3201 2.9112
    IE 4.9659 4.3952 4.4904 4.4409 4.8827 4.4594 4.9711
    SD 49.5321 23.9142 25.5283 24.3822 41.2654 26.6849 51.8051
    EIPV 0.4732 0.3491 0.4651 0.5244 0.4653 0.4857 0.5276
    下载: 导出CSV

    表  6  各种融合方法的计算时间对比

    Table  6  Computational time comparison of different fusion methods

    融合方法 GRAD RATIO DWT FPDE CVT-SR VSM 本文方法
    时间(s) 2.7914 0.6909 1.6567 8.1072 5.4289 5.6316 71.7869
    下载: 导出CSV
  • [1] 童涛, 杨桄, 孟强强, 孙嘉成, 叶怡, 陈晓榕.基于边缘特征的多传感器图像融合算法.红外与激光工程, 2014, 43(1): 311-317 doi:  10.3969/j.issn.1007-2276.2014.01.055

    Tong Tao, Yang Guang, Meng Qiang-Qiang, Sun Jia-Cheng, Ye Yi, Chen Xiao-Rong. Multi-sensor image fusion algorithm based on edge feature. Infrared and Laser Engineering, 2014, 43(1): 311-317 doi:  10.3969/j.issn.1007-2276.2014.01.055
    [2] Li Shu-Tao, Kang Xu-Dong, Fang Le-Yuan, Hu Jian-Wen, Yin Hai-Tao. Pixel-level image fusion: A survey of the state of the art. Information Fusion, 2017, 33(1): 100-112
    [3] Zhang Qiong, Maldague Xavier. An adaptive fusion approach for infrared and visible images based on NSCT and compressed sensing. Infrared Physics and Technology, 2016, 74(1): 11-20 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=0b634893125f83498d0b8613c8c9ec69
    [4] Lee M W, Kwak K C. Performance Comparison of Infrared and Visible Image Fusion Approaches. In: Proceedings of the 2017 International Conference on Control, Artificial Intelligence, Robotics & Optimization (ICCAIRO), Prague, Czech Republic: 2017. 274-277
    [5] Burt P J, Adelson E H.The Laplacian pyramid as a compact image code. IEEE Transactions on Communications, 1983, 31(4): 532-540 doi:  10.1109/TCOM.1983.1095851
    [6] 肖进胜, 饶天宇, 贾茜, 宋金钟, 易本顺.基于图切割的拉普拉斯金字塔图像融合算法.光电子·激光, 2014, 25(07): 1416-1424 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gdzjg201407032

    Xiao Jin-Sheng, Rao Tian-Yu, Jia Qian, Song Jin-Zhong, Yi Ben-Shun. An image fusion algorithm of Laplacian pyramid based on graph cuting. Journal of Optoelectronics·Laser, 2014, 25(07): 1416-1424 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=gdzjg201407032
    [7] Burt P J, A gradient pyramid basis for pattern-selective image fusion, In: Proceedings of the SID International Symposium. New York, USA: 1992. 467-470
    [8] Alexander Toet, Image fusion by a ratio of low-pass pyramid. Pattern Recognition Letters, 1989, 9(4): 245-253 doi:  10.1016/0167-8655(89)90003-2
    [9] 李建林, 俞建成, 孙胜利.基于梯度金字塔图像融合的研究.科学技术与工程, 2007, 7(22): 5818-5822 doi:  10.3969/j.issn.1671-1815.2007.22.018

    Li Jian-Lin, Yu Jian-Cheng, Sun Sheng-Li. Research on image fusion based on gradient pyramid. Science Technology and Engineering, 2007, 7(22): 5818-5822 doi:  10.3969/j.issn.1671-1815.2007.22.018
    [10] Xiang Yan, Qin Han-Lin, Li Jia, Zhou Hui-Xin, Zong Jing-Guo. Infrared and visible image fusion with spectral graph wavelet transform. Journal of the Optical Society of America A Optics Image Science & Vision, 2015, 32(9): 1643-1652 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=0da6606f5b60ddc886110a710f7e7b12
    [11] Pal C, Das P, Chakrabarti A, Ghosh R. Rician noise removal in magnitude MRI images using efficient anisotropic diffusion filtering. International Journal of Imaging Systems and Technology, 2017, 27(3): 248-264 doi:  10.1002/ima.22230
    [12] 钱伟新, 刘瑞根, 王婉丽, 祁双喜, 王伟, 程晋明.基于图像特征方向的各向异性扩散滤波方法.中国图象图形学报, 2006, 11(6): 818-822 doi:  10.3969/j.issn.1006-8961.2006.06.008

    Qian Wei-Xin, Liu Rui-Gen, Wang Wan-Li, Qi Shuang-Xi, Wang Wei, Cheng Jin-Ming. The anisotropic diffusion methods based on the directions of the image feature. Journal of Image and Graphics, 2006, 11(6): 818-822 doi:  10.3969/j.issn.1006-8961.2006.06.008
    [13] You Yu-Li, Kaveh M. Fourth-order partial differential equations for noise removal. IEEE Transactions on Image Processing, 2000, 9(10): 1723-1730 doi:  10.1109/83.869184
    [14] Bavirisetti D P, Xiao G, Liu G. Multi-sensor image fusion based on fourth order partial differential equations. International Conference on Information Fusion. Xi'an, China: IEEE, 2017. 1-9
    [15] Strang G. Introduction to Applied Mathematic, New York, Wellesley-Cambridge. Springer, 1986. 166-179
    [16] Himanshi, Bhateja V, Krishn A, Sahu A. An improved medical image fusion approach using PCA and complex wavelets. In: Proceedings of International Conference on Medical Imaging, M-Health and Emerging Communication Systems, Greater Noida, India: IEEE, 2015. 442-447
    [17] Yang J, Blum R S. A statistical signal processing approach to image fusion for concealed weapon detection. In: Proc- eedings of the 2002 International Conference on Image Processing, New York, USA: IEEE, 2002. 513-516
    [18] TNO Image Fusion Dataset[Online], available: https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029, September 15, 2018
    [19] Kadar I. Pixel-level image fusion: the case of image sequences. In: Proceedings of SPIE-The International Society for Optical Engineering, 1998, 3374: 378-388
    [20] Ma Jin-Lei, Zhou Zhi-Qiang, Wang Bo, Zong Hua. Infrared and visible image fusion based on visual saliency map and weighted least square optimization. Infrared Physics & Technology, 2017, 82: 8-17 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=0cf016ce28d21ceabc85edf6d555f29c
    [21] Liu Yu, Liu Shu-Ping, Wang Zeng-Fu. A general framework for image fusion based on multi-scale transform and sparse representation. Information Fusion, 2015, 24: 147-164 doi:  10.1016/j.inffus.2014.09.004
    [22] 张小利, 李雄飞, 李军.融合图像质量评价指标的相关性分析及性能评估.自动化学报, 2014, 40(2): 306-315 doi:  10.3724/SP.J.1004.2014.00306

    Zhang Xiao-Li, Li Xiong-Fei, Li Jun. Validation and correlation analysis of metrics for evaluating performance of image fusion. Acta Automatica Sinica, 2014, 40(2): 306-315 doi:  10.3724/SP.J.1004.2014.00306
  • [1] 肖进胜, 朱力, 赵博强, 雷俊锋, 王莉. 基于主成分分析的分块视频噪声估计[J]. 自动化学报, 2018, 44(9): 1618-1625. doi: 10.16383/j.aas.2017.c160764
    [2] 刘海波, 杨杰, 张庆年, 邓勇, . 基于暗通道先验和Retinex理论的快速单幅图像去雾方法[J]. 自动化学报, 2015, 41(7): 1264-1273. doi: 10.16383/j.aas.2015.c140748
    [3] 周雨薇, 杨平吕, 陈强, 孙权森. 基于 MTF 和变分的全色与多光谱图像融合模型[J]. 自动化学报, 2015, 41(2): 342-352. doi: 10.16383/j.aas.2015.c140121
    [4] 张小刚, 唐美玲, 陈华, 汤红忠. 一种结合双区域滤波和图像融合的单幅图像去雾算法[J]. 自动化学报, 2014, 40(8): 1733-1739. doi: 10.3724/SP.J.1004.2014.01733
    [5] 李奕, 吴小俊. 香农熵加权稀疏表示图像融合方法研究[J]. 自动化学报, 2014, 40(8): 1819-1835. doi: 10.3724/SP.J.1004.2014.01819
    [6] 张小利, 李雄飞, 李军. 融合图像质量评价指标的相关性分析及性能评估[J]. 自动化学报, 2014, 40(2): 306-315. doi: 10.3724/SP.J.1004.2014.00306
    [7] 马宁, 周则明, 张鹏, 罗立民. 一种新的全色与多光谱图像融合变分模型[J]. 自动化学报, 2013, 39(2): 179-187. doi: 10.3724/SP.J.1004.2013.00179
    [8] 陈荣元, 林立宇, 王四春, 秦前清. 数据同化框架下基于差分进化的遥感图像融合[J]. 自动化学报, 2010, 36(3): 392-398. doi: 10.3724/SP.J.1004.2010.00392
    [9] 杨波, 敬忠良. 梅花形采样离散小波框架图像融合算法[J]. 自动化学报, 2010, 36(1): 12-22. doi: 10.1360/SP.J.1004.2010.00012
    [10] 才溪, 赵巍. Contourlet变换低通滤波器对图像融合算法影响的讨论[J]. 自动化学报, 2009, 35(3): 258-266. doi: 10.3724/SP.J.1004.2009.00258
    [11] 屈小波, 闫敬文, 肖弘智, 朱自谦. 非降采样Contourlet域内空间频率激励的PCNN图像融合算法[J]. 自动化学报, 2008, 34(12): 1508-1514. doi: 10.3724/SP.J.1004.2008.01508
    [12] 杨晓慧, 焦李成. 基于非子采样Contourlet变换的遥感图像融合算法[J]. 自动化学报, 2008, 34(3): 274-281. doi: 10.3724/SP.J.1004.2008.00274
    [13] 张强, 郭宝龙. 基于非采样Contourlet变换多传感器图像融合算法[J]. 自动化学报, 2008, 34(2): 135-141. doi: 10.3724/SP.J.1004.2008.00135
    [14] 王超, 叶中付. 基于主观对比度的变分图像融合方法[J]. 自动化学报, 2007, 33(2): 132-137. doi: 10.1360/aas-007-0132
    [15] 李伟, 朱学峰. 基于第二代小波变换的图像融合方法及性能评价[J]. 自动化学报, 2007, 33(8): 817-822. doi: 10.1360/aas-007-0817
    [16] 杨波, 徐光祐. 纹理相似性度量研究及基于纹理特征的图像检索[J]. 自动化学报, 2004, 30(6): 991-998.
    [17] 韩崇昭, 朱洪艳. 多传感信息融合与自动化[J]. 自动化学报, 2002, 28(增刊): 117-124.
    [18] 杨烜, 裴继红, 杨万海. 基于边缘信息的多光谱高分辨图像融合方法[J]. 自动化学报, 2002, 28(3): 441-444.
    [19] 杨烜, 裴继红, 杨万海. 基于边缘信息的多光谱高分辨图像融合方法[J]. 自动化学报, 2002, 28(3): 441-444.
    [20] 刘贵喜, 杨万海. 基于小波分解的图像融合方法及性能评价[J]. 自动化学报, 2002, 28(6): 927-934.
  • 加载中
图(6) / 表(6)
计量
  • 文章访问数:  1373
  • HTML全文浏览量:  1961
  • PDF下载量:  115
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-04-02
  • 录用日期:  2018-09-12
  • 刊出日期:  2020-04-24

基于FPDE的红外与可见光图像融合算法

doi: 10.16383/j.aas.2018.c180188
    基金项目:

    国家重点基础研究发展计划(973计划) 2014CB744903

    国家自然科学基金 61673270

    国家自然科学基金 61203224

    上海浦江人才计划 16PJD028

    作者简介:

    高雪琴  上海电力学院自动化工程学院硕士研究生.主要研究方向为图像融合. E-mail: gxq0163@163.com

    肖刚  上海交通大学航空航天学院教授. 2004年获得上海交通大学博士学位.主要研究方向为先进航空电子综合仿真, 智能信息处理.E-mail:xiaogang@sjtu.edu.cn

    BAVIRISETTI Durga Prasad  上海交通大学航空航天学院博士后. 2016年获得印度韦洛尔科技大学博士学位.主要研究方向为图像融合, 目标跟踪, 机器学习和计算机视觉. E-mail:bdps1989@sjtu.edu.cn

    史凯磊  上海电力学院自动化工程学院硕士研究生.主要研究方向为机器视觉. E-mail: 18321779651@163.com

    通讯作者: 刘刚 上海电力学院自动化工程学院教授. 2005年获得上海交通大学博士学位.主要研究方向为模式识别, 机器学习.本文通信作者. E-mail: liugang@shiep.edu.cn
  • 本文责任编委 黄庆明

摘要: 针对传统红外与可见光图像融合算法中存在的细节信息不够丰富, 边缘信息保留不够充分等问题, 文中提出了一种基于四阶偏微分方程(Fourth-order partial differential equation, FPDE)的改进的图像融合算法.算法首先采用FPDE将已配准的红外与可见光图像进行分解, 得到高频分量和低频分量; 然后, 对高频分量采用基于主成分分析(Principal component analysis, PCA)的融合规则来得到细节图像, 对低频分量采用基于期望值最大(Expectation maximization, EM)的融合规则来得到近似图像; 最后, 通过组合最终的高频分量和低频分量来重构得到最终的融合结果.实验是建立在标准的融合数据集上进行的, 并与传统的和最近的融合方法进行比较, 结果证明所提方法得到的融合图像比现有的融合方法能有效地综合红外与可见光图像中的重要信息, 有更好的视觉效果.

本文责任编委 黄庆明

English Abstract

高雪琴, 刘刚, 肖刚, BAVIRISETTIDurga Prasad, 史凯磊. 基于FPDE的红外与可见光图像融合算法. 自动化学报, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
引用本文: 高雪琴, 刘刚, 肖刚, BAVIRISETTIDurga Prasad, 史凯磊. 基于FPDE的红外与可见光图像融合算法. 自动化学报, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
GAO Xue-Qin, LIU Gang, XIAO Gang, BAVIRISETTI Durga Prasad, SHI Kai-Lei. Fusion Algorithm of Infrared and Visible Images Based on FPDE. ACTA AUTOMATICA SINICA, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
Citation: GAO Xue-Qin, LIU Gang, XIAO Gang, BAVIRISETTI Durga Prasad, SHI Kai-Lei. Fusion Algorithm of Infrared and Visible Images Based on FPDE. ACTA AUTOMATICA SINICA, 2020, 46(4): 796-804. doi: 10.16383/j.aas.2018.c180188
  • 图像融合有两大类:单传感器图像融合(Single sensor image fusion, SSIF)和多传感器图像融合(Multi sensor image fusion, MSIF).在SSIF中, 单个传感器采集来自于同一场景的多个图像.而在MSIF中, 多模态传感器能够采集到同一场景的多种传感器图像的互补信息.在某些情况下, 由于受光照、环境因素(如烟雾、云、雨、噪声等)、目标位置(如远近、障碍物等)、目标状态(如运动、密集目标、伪装目标等)以及传感器固有特性等因素的影响, 通过单一传感器所获得的图像信息不足以用来对目标或场景进行更好的检测、分析以及理解[1].而多源图像融合技术, 可明显地改善单一传感器的不足, 它能够综合利用来自不同传感器采集到的多特征图像, 提高结果图像的清晰度及信息包含量, 输出一幅适合计算机进一步分析和处理的融合图像, 更符合人类的视觉感受[2].本文主要研究在军事和夜视应用方面的红外与可见光图像融合.在这些应用中, 对目标场景的获取主要来自可见光(Visible light, VI)和红外(Infrared radiation, IR)传感器.在军事上, VI传感器用于获取战场等的可视信息, 同时, IR传感器用于根据温度变化获取车辆、动物、士兵和伪装信息.类似地, 在夜视场景中, IR和VI传感器也用于获取补充信息[3].

    VI和IR传感器图像融合的研究大致分为两大类.分别是单尺度或空间域融合技术(Single scale or spatial domain fusion techniques, SDF)和多尺度融合技术(Multi-scale fusion techniques, MSF)[4].在SDF中, 融合过程在同一尺度的源图像上进行.在MSF中, 是将源图像分解成多个尺度后再进行融合处理. MSF进一步被分为三大类别, 分别是基于金字塔变换、小波变换和边缘保留分解的方法. 20世纪80年代中期, Burt等首次提出拉普拉斯金字塔算法[5], 在金字塔融合方法中, 源图像被分解成连续金字塔级别的系数, 将融合应用于这些分解系数以组合它们, 并且最终从重建的金字塔生成融合图像.其中基于金字塔的融合方法主要包括拉普拉斯金字塔[6]、梯度金字塔[7]、对比度金字塔[8]等.李建林等提出一种基于梯度金字塔的图像融合方法, 该方法能提高图像的整体清晰度和信息量[9]. 20世纪90年代, 研究学者开始把小波变换应用到图像融合领域, 推动了图像融合技术的进一步发展.小波变换类似于金字塔分解法, 但它具有时频特性和方向性, 理论上能获得比塔式分解方法更好的融合效果. 2015年Xiang等[10]提出一种基于谱图小波变换和双边滤波的新型红外与可见光图像融合方法, 该方法能有效地保留图像的细节信息.基于小波变换和金字塔的方法虽然应用广泛, 但在图像分解过程中还是不能有效地保留边缘信息和局部特征.近年来, 研究学者开始将偏微分方程(Partial differential equation, PDE)引入到图像融合处理上, 它不仅能够处理重要的几何信息, 还能很好地保持图像的局部特征[11].在PDE方法中, 与通用数字图像处理工具不同的是, 图像在PDE方法中被视为由跳跃边缘连接而成的梯级图像.但是这些PDE方法都是使用二阶偏微分方程(Second-order partial differential equation, SPDE)实现的, 很容易产生块状效应或伪轮廓[12], 于是You等[13]将四阶偏微分方程(Fourth-order partial differential equation, FPDE)应用于图像处理, 将观察图像演变为分段平面图像, 与梯级图像相比, 这些合成的分段平面图像看起来更自然.

    因此, 本文提出一种基于FPDE的红外与可见光图像融合算法, 根据红外与可见光图像的特点, 设计不同的融合规则对图像的高低频子带图像进行融合.实验结果表明, 无论是从主观视觉还是客观评价指标都说明该方法所获得的融合图像具有更高的质量, 与其他传统或最近的算法相比, 能够获得更好的融合效果.

    • FPDE方法[14]的基本思想是在保持源图像的原有信息的基础上, 对图像进行平滑化, 达到某种程度的最优化.根据人类对图像局部变换敏感的视觉特性, 建立相应的能量泛函, 转化为求能量泛函极小的问题.为了找到能量泛函的极小值, 首先在$\Omega$集下的连续图像空间中建立以下能量泛函:

      $$ \begin{equation} E\left( u \right) = {\int_\Omega }f\left( {\left| {{\nabla ^2}u} \right|} \right){\rm{d}}x{\rm{d}}y \end{equation} $$ (1)

      其中, $u$是图像强度函数, $\left| {\cdot } \right|$表示绝对值, ${\nabla ^2}$代表拉普拉斯算子, 规定$f\left(\cdot \right) \ge 0$且为增函数, 使得能量泛函对于$\left| {{\nabla ^2}u} \right|$所度量的图像平滑度而言是递增函数.因此, 函数的最小化相当于平滑图像, 这种函数最小化也是文献[15]中处理的一般变分问题的一种特殊形式.

      因为对偏微分方程直接进行求解比较困难, 所以一般采用其他方法进行求解, 本文采用的是梯度下降法.为了保证源图像在各方向上的特征, 引入扩散系数分布函数$c\left(\cdot \right)$, 建立如下的梯度下降函数来求解:

      $$ \begin{equation} \begin{aligned} \frac{{\partial u}}{{\partial t}} =\, & - {\nabla ^2}\left[ {f'\left( {\left| {{\nabla ^2}u} \right|} \right)\frac{{{\nabla ^2}u}}{{\left| {{\nabla ^2}u} \right|}}} \right] =\\& - {\nabla ^2}\left[ {c\left( {\left| {{\nabla ^2}u} \right|} \right){\nabla ^2}u} \right] \end{aligned} \end{equation} $$ (2)

      式中, $\frac{{\partial u}}{{\partial t}}$是对图像强度函数$u$执行的FPDE进程, ${\nabla ^2}$是拉普拉斯算子, $c$是扩散系数, 一般取为$c(s) = \frac{1}{1 + (s/ k)^2}$, 其中$s$为变量, $k$为常数, 当$k$大于等于3时, 基于FPDE的融合方法对融合图像的边缘保持性能趋于稳定[14], 因此本文方法选取$k=4$.扩散系数分布函数$c\left({\left| {{\nabla ^2}u} \right|} \right)$被称为"边界处停止平滑函数"用来保持边缘.式(2)的演化就是为了使图像越来越平滑, 直到它变成平面图像, 看起来更加自然.

      式(2)中的微分方程[14]可以用以下迭代方法进行数值求解:

      $$ \begin{equation} u_{i, j}^{n + 1} = u_{i, j}^n - \Delta t{\nabla ^2}g_{i, j}^n \end{equation} $$ (3)

      式中, $u_{i, j}^{n + 1}$是在$n$+1次迭代和在$(i, j)$像素位置处的较粗分辨率的图像强度$u$, 取决于其先前的尺度图像强度$u_{i, j}^n$, $\Delta t$是步长, 为确保迅速收敛, 本文取为0.9, ${\nabla ^2}g_{i, j}^n$是对图像空间网格大小为$h$的函数$g_{i, j}^n$执行的拉普拉斯算子. ${\nabla ^2}g_{i, j}^n$用拉普拉斯算子表示为

      $$ \begin{equation} {\nabla ^2}g_{i, j}^n = \frac{{g_{i + 1, j}^n + g_{i - 1, j}^n + g_{i, j + 1}^n + g_{i, j - 1}^n - 4g_{i, j}^n}}{{{h^2}}} \end{equation} $$ (4)

      式中, $g_{i, j}^n$是取决于两个函数$c\left({\left| {{\nabla ^2}u_{i, j}^n} \right|} \right)$和${\nabla ^2}u_{i, j}^n$的函数, 可以进一步给出为

      $$ \begin{equation} g_{i, j}^n = g\left( {{\nabla ^2}u_{i, j}^n} \right) = c\left( {\left| {{\nabla ^2}u_{i, j}^n} \right|} \right){\nabla ^2}u_{i, j}^n \end{equation} $$ (5)

      式中, ${\nabla ^2}u_{i, j}^n$表示对$u_{i, j}^n$执行的拉普拉斯算子, 它可以用数学表达为:

      $$\begin{equation} {\nabla ^2}u_{i, j}^n = \frac{{u_{i + 1, j}^n + u_{i - 1, j}^n + u_{i, j + 1}^n + u_{i, j - 1}^n - 4u_{i, j}^n}}{{{h^2}}} \end{equation} $$ (6)

      FPDE过程相当于对源图像做低通滤波, 因此FPDE过程保留源图像的低频成分得到近似分量, 假设${S_{\rm VI}}$和${S_{\rm IR}}$是具有相同尺寸的可见光和红外图像, 并且已经经过像素配准.源图像经过边保留分解过程FPDE被分解得到近似图像$ \left({S_{\rm VI}^A, S_{\rm IR}^A} \right)$, 这个过程是由下式给出:

      $$ \begin{equation} S_{\rm VI}^A{\rm{ = FPDE}}\left( {{S_{\rm VI}}} \right) , \quad S_{\rm IR}^A{\rm{ = FPDE}}\left( {{S_{\rm IR}}} \right) \end{equation} $$ (7)

      细节图像$ \left({S_{\rm VI}^D, S_{\rm IR}^D} \right)$是通过从源图像中减去近似图像来计算的:

      $$ \begin{equation} S_{\rm VI}^D{\rm{ = }}{S_{\rm VI}} - S_{\rm VI}^A, \quad S_{\rm IR}^D{\rm{ = }}{S_{\rm IR}} - S_{\rm IR}^A \end{equation} $$ (8)
    • 本文算法的流程图如图 1所示, 假设${S_{\rm VI}}$和${S_{\rm IR}}$分别为具有相同尺寸的已配准的可见光图像和红外图像, 基于FPDE的红外与可见光图像融合流程如下:

      图  1  本文算法的流程图

      Figure 1.  Flow chart of the algorithm of this paper

      1) 分解:将每一幅源图像${S_{\rm VI}}$和${S_{\rm IR}}$分别进行基于FPDE的分解, 得到近似图像$ \left({S_{\rm VI}^A, S_{\rm IR}^A} \right)$和细节图像$ \left({S_{\rm VI}^D, S_{\rm IR}^D} \right)$.

      2) 融合:近似图像和细节图像分别通过对应的融合规则进行融合, 其中高频细节分量使用主分量分析(PCA)方法进行融合得到融合后的高频分量${S^D}$.低频粗糙分量使用基于期望值最大算法(EM算法)进行融合得到融合后的低频分量${S^A}$.

      3) 重构:通过组合最终融合得到的近似图像${S^A}$和细节图像${S^D}$来重构得到最终融合图像${S_F}$.

    • 经过FPDE分解后得到的细节图像主要包含了视觉上重要的信息或图像特征, 例如边缘、线条和轮廓等信息, 高频融合规则应该最大可能的提取到源图像中的高频细节信息.将基于主成分分析[16]的高频融合规则应用于细节图像, 可以确保将所有所需的详细图像信息集成到最终的细节图像中.步骤如下:

      1) 将$S_{\rm VI}^D$和$S_{\rm IR}^D$看做矩阵$\gamma$的列向量;

      2) 将$\gamma$的每一列看做是变量, 每一行看做是观察值, 找出它的协方差矩阵${C_{\gamma \gamma }}$;

      3) 计算特征值${\lambda _1}$、${\lambda _2}$和${C_{\gamma \gamma }}$的特征向量${\varphi _1} = \left[{\begin{array}{*{20}{c}} {{\phi _1}}\\ {{\phi _2}} \end{array}} \right]$和${\varphi _2} = \left[{\begin{array}{*{20}{c}} {{\phi _1}}\\ {{\phi _2}} \end{array}} \right]$;

      4) 找出最大特征值${\lambda _{\max }} = \max \left({{\lambda _1}, {\lambda _2}} \right)$, 将${\lambda _{\max }}$对应的特征向量看做是最大的特征向量${\phi _{\max }}$, 通过下列式子对${\phi _{\max }}$的主成分分量${P_1}$和${P_2}$进行归一化:

      $$ \begin{equation} {P_1} = \frac{{{\phi _{\max }}\left( 1 \right)}}{{\sum\limits_i {{\phi _{\max }}\left( i \right)} }}, {P_2} = \frac{{{\phi _{\max }}\left( 2 \right)}}{{\sum\limits_i {{\phi _{\max }}\left( i \right)} }} \end{equation} $$ (9)

      5) 根据下式将这些主成分分量${P_1}$和${P_2}$做为权重来融合细节图像信息, 得到最终细节图像${S^D}$:

      $$ \begin{equation} {S^D} = {P_1}S_{\rm VI}^D + {P_2}S_{\rm IR}^D \end{equation} $$ (10)
    • 1) 图像成像模型分析

      由于红外图像与可见光图像的成像原理不同, 两者具有明显不同的特点, 即使同一场景得到的目标图像仍存在不同的细节变化方式.低频分量包含了场景的能量分布和大体轮廓, 简单的平均加权法易导致图像整体不自然, 因此找到源图像最佳的低频融合带, 能避免最终的融合图像丢失大量的细节信息.为了使融合图像更多地包含红外图像和可见光图像的细节信息, 并且在融合过程中不造成明显的人工痕迹, 本文采用基于期望值最大算法的融合规则.

      我们认为, 在图像成像过程中, 系统对真实场景的影响与传感器的敏感系数、噪声、成像传感器的偏移有关.因此, 低频融合使用的图像模型为[17]

      $$ \begin{equation} {I_X}\left( j \right) = {\alpha _X}\left( j \right)S\left( j \right) + {\beta _X}\left( j \right) + {\varepsilon _X}\left( j \right) \end{equation} $$ (11)

      式中, $X$ = 1或2, 表示源图像1或2; $j$表示在低频带中的像素位置; ${I_X}\left(j \right)$表示图像$X$在第$j$个像素处的低频带, ${\alpha _X}\left(j \right) = \pm 1$或$0$是传感器选择因子; $S\left(j \right)$表示第$j$个像素的最佳融合低频带, 这是需要估计的参数; ${\beta _X}\left(j \right)$是图像的偏差, 反映了低频图像的平均值; ${\varepsilon _X}\left(j \right)$是随机噪声, 其由高斯概率密度函数的$K$项混合来建模为

      $$ \begin{align} {f_{{\varepsilon _X}( j )}}\left( {{\varepsilon _X}\left( j \right)} \right) =\, & \sum\limits_{k = 1}^K {\lambda _{k, X}}\left( j \right)\frac{1}{{\left[ {2\pi {\sigma ^2}_{k, X}\left( j \right)}\right]}^\frac{1}{2}} \times\nonumber\\&\exp \left[ - \frac{{{\varepsilon _X}{{\left( j \right)}^2}}}{{2{\sigma ^2}_{k, X}( j )}} \right] \end{align} $$ (12)

      式中, ${\lambda _{k, X}}(j)$是$K$项高斯分布的权重, ${\sigma ^2}_{k, X}\left(j \right)$是分布的方差.图像模型对于每个位置$j$通常是不同的, 但是对于方程式(11)和(12)中的选择性因子和参数的一阶近似在相邻$j$的小区域上可以认为是恒定的.参数的估计通常在以$j$为中心的邻域进行, 在本文中, 选择邻域大小$L$ = 5×5, 并且$j$扫描低频图像中的所有像素.在邻域内, 我们假设模型参数${\beta _X}\left(j \right)$、$\left({{\lambda _{k, X}}\left(j \right), {\sigma ^2}_{k, X}\left(j \right)} \right)$和${\alpha _X}\left(j \right)$是常数, 下文将这些参数简写为${\beta _X}$、$\left({{\lambda _{k, X}}, {\sigma ^2}_{k, X}} \right)$和${\alpha _X}$.

      2) 初始化模型参数

      对迭代过程的初始化, 假设真实场景为$S$, 初始化$S$为

      $$ \begin{equation} S\left( l \right) = \sum\limits_{X = 1}^2 {\frac{1}{2}{I_X}\left( l \right)} \end{equation} $$ (13)

      从而可以得到各个传感器局部窗口$L = h \times h$的总方差系数为:

      $$ \begin{equation} {\sigma ^2}_X = \frac{{\sum\limits_{l = 1}^L {{{\left[ {{I_X}\left( l \right) - S\left( l \right)} \right]}^2}} }}{L} \end{equation} $$ (14)

      传感器的偏移量为

      $$ \begin{equation} {\beta _X} = \frac{{\sum\limits_{l = 1}^L {{I_X}\left( I \right)} }}{L} \end{equation} $$ (15)

      3) 期望值最大算法的迭代步骤

      首先, 在迭代过程之前对图像数据进行标准化和归一化:

      $$ \begin{equation} I'_X( j ) = \left( {{I_X}( j ) - \mu } \right)H \end{equation} $$ (16)

      式中, ${I_X'}$和${I_X}$分别是原图像和标准归一化后的图像, $\mu$为整幅图像的均值, $H$为图像的灰度级别.

      主要迭代过程如下, 其中用${S{'}}\left(l \right)$表示对$S\left(l \right)$的更新, 用$\alpha _X{'}$, $\lambda _{k, X}{'}$和$\sigma _{k, X}{'}$是相应系数的更新.

      E.计算条件概率密度, 即计算在参数以及源图像给定的情况下, 混合高斯分布第$k$项的条件概率密度:

      $$ \begin{aligned} {g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right] = \frac{{\frac{{{\lambda _{k, X}}}}{{\sqrt {2\pi \sigma _{k, X}^2} }}\exp \left[ { - \frac{{{{\left( {{I_X}\left( l \right) - {\alpha _X}s\left( l \right) - {\beta _X}} \right)}^2}}}{{2\sigma _{k, X}^2}}} \right]}}{{\sum\limits_{p = 1}^K {\frac{{{\lambda _{p, X}}}}{{\sqrt {2\pi \sigma _{p, X}^2} }}\exp \left[ { - \frac{{{{\left( {{I_X}\left( l \right) - {\alpha _X}s\left( l \right) - {\beta _X}} \right)}^2}}}{{2\sigma _{p, X}^2}}} \right]} }} \end{aligned} $$ (17)

      M.更新参数${\alpha_X}$, 在$\left\{ { - 1, 0, 1}\right\}$中选择以使式(18)的值最大的${\alpha _X}$值:

      $$ \begin{aligned} Q\!&=\!-\frac{1}{2}\!\sum\limits_{X = 1}^2 \!\sum\limits_{l = 1}^L \!\sum\limits_{k = 1}^K \left[ \ln \left( {\sigma _{k, X}^2} \right) \!+\! \frac{{{{\left( {I_X}( l ) \!-\! \alpha _X^{\prime}S\left( l \right) - {\beta _X} \right)}^2}}}{{2\sigma _{k, X}^2}} \right] \cdot \\&\quad~ {g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right] \end{aligned} $$ (18)

      迭代.

      a) 更新条件概率密度分布${g_{k, X, l}}$, 进一步更新真实场景$S\left(l \right)$:

      $$ \begin{equation} {S^{\prime}}\left( l \right) = \frac{{\sum\limits_{X = 1}^2 {\sum\limits_{k = 1}^K {\left( {{I_X}\left( l \right) - {\beta _X}} \right)\alpha _X^{\prime}\frac{{{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]}}{{\sigma _{k, X}^2}}} } }}{{\sum\limits_{X = 1}^2 {\sum\limits_{k = 1}^K {\alpha _X^{\prime}\frac{{{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]}}{{\sigma _{k, X}^2}}} } }} \end{equation} $$ (19)
      $$ \begin{equation} {\beta _X} = \frac{{\sum\limits_{l = 1}^L {\sum\limits_{k = 1}^K {\left( {{I_X}\left( l \right) - \alpha _X^{\prime}{S^{\prime}}\left( l \right)} \right)\frac{{{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]}}{{\sigma _{k, X}^2}}} } }}{{\sum\limits_{l = 1}^L {\sum\limits_{k = 1}^K {\frac{{{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]}}{{\sigma _{k, X}^2}}} } }} \end{equation} $$ (20)

      b) 再次计算条件概率密度分布${g_{k, X, l}}$、真实场景$S(l)$和传感器偏移量${\beta _X}$, 得到新的模型参数${\lambda _{k, X}}$、$\sigma _{k, X}^2$和${\beta _X}$:

      $$ \begin{equation} \lambda _{k, X}^{\prime} = \frac{1}{L}\sum\limits_{l = 1}^L {{g_{k, X, l}}\left( {{I_X}\left( l \right)} \right)}, \qquad k = 1, \cdots, K \end{equation} $$ (21)
      $$ \begin{equation} \begin{gathered} \sigma _{k, X}^{'2} = \frac{{\sum\limits_{l = 1}^L {{{\left( {{I_X}\left( l \right) - \alpha _X^{\prime}S\left( l \right) - {\beta _X}} \right)}^2}{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]} }}{{\sum\limits_{l = 1}^L {{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]} }}, \\ k = 1, \cdots, K \end{gathered} \end{equation} $$ (22)

      c) 将得到的新参数重新代入以上步骤中进行迭代.上述迭代过程中, 当参数收敛趋于稳定, 确定低频分量融合得到的近似图像为:

      $$ \begin{equation} {S^{\prime}}\left( l \right) = \frac{{\sum\limits_{X = 1}^2 {\sum\limits_{k = 1}^K {{I_X}\left( l \right)\alpha _X^{'2}\frac{{{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]}}{{\sigma _{k, X}^2}}} } }}{{\sum\limits_{X = 1}^2 {\sum\limits_{k = 1}^K {\alpha _X^{'2}\frac{{{g_{k, X, l}}\left[ {{I_X}\left( l \right)} \right]}}{{\sigma _{k, X}^2}}} } }} \end{equation} $$ (23)
    • 为了验证本文算法的有效性和优越性, 本文从TNO图像融合数据库[18]选取了十组(包括"dune"、"pavilion"、"maninhuis"、"UN Camp"等)经过严格配准的红外与可见光图像进行融合实验, 将本文方法与其他6种具有代表性的融合方法进行对比, 这6种方法分别是基于金字塔变换(GRAD[7]、RATIO[8])、小波变换(DWT[19])、边缘保留分解(FPDE[14]、VSM[20])和稀疏表示(CVT-SR[21])的融合方法.

    • 图 2所示, 由视觉观察得出, 基于DWT和VSM的融合结果对比度相对较低, 视觉效果相对较差, 基于RATIO和FPDE的融合结果没有完整的反映出源图像的场景信息, 基于GRAD的融合结果存在伪影, 基于CVT-SR的融合结果对比度较高, 但是边缘不够清晰, 本文方法也具有很高的对比度, 且相对光滑, 边缘细节清晰, 整体视觉效果好.

      图  2  "dune"图像的融合结果

      Figure 2.  The fusion result of image "dune"

      图 3所示, 仔细观察可以发现, 基于FPDE和RATIO的方法没有将源图像信息完整地表现在融合结果上, 基于GRAD和CVT-SR、VSM的方法能将源图像的信息充分的融合到融合结果中, 但同时也引入了伪影, 基于DWT的融合结果边缘不够清晰, 本文方法也有少量伪影, 但是对比度高、边缘清晰, 更符合人眼视觉感受.

      图  3  "pavilion"图像的融合结果

      Figure 3.  The fusion result of image "pavilion"

      图 4所示, 基于DWT、RATIO、FPDE和VSM这几种方法得到的融合结果对比度都很低, 视觉效果差, 基于CVT-SR的融合结果对比度相对较高, 但含有少量伪影, 基于GRAD的融合结果边缘模糊, 本文方法的融合结果边缘清晰, 且对比度高, 能很好地同时反映出红外与可见光的信息.

      图  4  "maninhuis"图像的融合结果

      Figure 4.  The fusion result of image "maninhuis"

      图 5所示, 基于RATIO和FPDE的融合结果对比度较低, 视觉效果差, 基于DWT和CVT-SR的融合结果不仅对比度低, 且边缘模糊.基于GRAD和VSM的融合结果对比度相对较高, 但是边缘轮廓不够清晰.本文方法的融合结果相对更好地保持了边缘和细节, 视觉效果更好.

      图  5  "UN Camp"图像的融合结果

      Figure 5.  The fusion result of image "UN Camp"

      此外, 本文方法与其他6种具有代表性的方法的更多的融合结果如图 6所示.

      图  6  其他6组图像的融合结果

      Figure 6.  The fusion result of other six groups of images

    • 与这6种融合方法相比, 本文提出的融合方法能同时保留红外和可见光图像的有效信息, 得到的融合结果所对应的场景细节更加清晰, 对比度更高, 且伪影很少, 也更符合人眼的主观视觉感受.

      为了客观公正地对融合结果进行评价, 本文选择了像素互信息(Mutual information, MI)、信息熵(Information entropy, IE)、标准差(Standard deviation, SD)、边缘信息保留值(Edge information preserve value, EIPV)这4种客观评价指标对融合结果进行评价[22].像素互信息(MI)为融合后的图像与源图像之间的互信息, 用于度量融合图像与源图像在灰度分布上的相似程度.图像的信息熵(IE)表示图像的信息量, 信息熵越大, 表示图像信息量越大, 融合效果越好.图像的标准差(SD)主要反映了整体像素的离散程度, 标准差越大, 表示图像整体对比度越高, 包含的信息越多, 视觉效果越好.边缘信息保留值(EIPV)用于度量从源图像到融合图像的边缘信息转移量, 值越大, 表示融合图像质量越好, 更符合人眼视觉感知.

      为方便起见, 将每种融合算法关于其他6组图像所得到的客观评价指标取平均值列在表 5, 其中加粗数值代表最好的结果.

      表 1~表 5客观指标评价结果来看, 本文方法所获得的客观评价指标在像素互信息(MI)、信息熵(IE)、标准差(SD)、边缘信息保留值(EIPV)上有一定的优势, 与主观视觉感受一致, 也说明了本文所提出的融合方法比其他融合方法所获得的融合图像的质量更高.基于FPDE的分解过程使源图像能保留更多更充分的边缘信息, 基于EM算法的低频融合规则能够找到最佳的低频融合带, 使融合图像看起来更加自然, 边缘信息的模糊现象也有所提高, 并且本文所提出的基于FPDE的融合方法不会将噪声引入到融合图像中.

      表 1  "dune"的融合结果的客观指标评价结果

      Table 1.  Objective evaluation result of the fusion result of "dune"

      融合方法 MI IE SD EIPV
      GRAD 1.2948 4.9 37.9309 0.4278
      RATIO 0.7248 4.2485 18.5883 0.3546
      DWT 0.6542 4.3821 21.0136 0.3841
      FPDE 0.7339 4.2997 19.6550 0.4821
      CVT-SR 1.5809 4.8953 38.4630 0.4408
      VSM 0.7053 4.3278 20.1876 0.4085
      本文方法 2.4647 5.0006 41.2892 0.5106

      表 2  "pavilion"的融合结果的客观指标评价结果

      Table 2.  Objective evaluation result of the fusion result of "pavilion"

      融合方法 MI IE SD EIPV
      GRAD 1.9984 4.4074 26.9211 0.4625
      RATIO 1.2350 4.4073 25.5996 0.3724
      DWT 1.1351 4.4671 28.2542 0.4197
      FPDE 1.3621 4.3829 25.8059 0.3846
      CVT-SR 1.3812 5.2110 48.8611 0.4251
      VSM 1.2409 4.4436 27.8868 0.4451
      本文方法 3.1240 4.8207 59.5605 0.4671

      表 3  "maninhuis"的融合结果的客观指标评价结果

      Table 3.  Objective evaluation result of the fusion result of "maninhuis"

      融合方法 MI IE SD EIPV
      GRAD 1.6169 4.7116 28.0854 0.4814
      RATIO 0.9408 4.6744 26.7289 0.3857
      DWT 0.9312 4.7941 30.4888 0.4371
      FPDE 1.0689 4.7081 27.4131 0.4516
      CVT-SR 1.3302 5.151 46.7314 0.5015
      VSM 1.0296 4.760 29.3688 0.4921
      本文方法 3.2612 5.036 57.1928 0.5091

      表 4  "UN Camp"的融合结果的客观指标评价结果

      Table 4.  Objective evaluation result of the fusion result of "UN Camp"

      融合方法 MI IE SD EIPV
      GRAD 1.3059 4.8571 36.0841 0.3918
      RATIO 1.0455 4.3359 22.9454 0.3895
      DWT 1.0314 4.4535 24.9950 0.3641
      FPDE 1.0894 4.3503 22.9777 0.4234
      CVT-SR 1.1538 4.7549 32.5279 0.3635
      VSM 1.0753 4.3991 23.9920 0.4064
      本文方法 2.5529 4.9069 41.5711 0.4461

      表 5  其他6组图像客观评价结果

      Table 5.  Objective evaluation result of the other six groups of images

      融合方法 GRAD RATIO DWT FPDE CVT-SR VSM 本文方法
      MI 1.9322 1.3495 1.2301 1.3235 1.4803 1.3201 2.9112
      IE 4.9659 4.3952 4.4904 4.4409 4.8827 4.4594 4.9711
      SD 49.5321 23.9142 25.5283 24.3822 41.2654 26.6849 51.8051
      EIPV 0.4732 0.3491 0.4651 0.5244 0.4653 0.4857 0.5276
    • 本文方法的主要环节包括: 1)源图像经过FPDE分解重构的过程; 2)依据融合规则对高低频分量分别进行融合.假设图像中像素总数为$N$, 则基于FPDE的分解重构过程的时间复杂度为O($N$), 基于PCA的高频融合的时间复杂度为O($B$), $B$为分解后得到的高频分量的像素总数.基于EM算法的低频融合的时间复杂度为O(2$Ct$), 其中$C$为分解后低频分量的像素总数, $t$是迭代的次数, 因此整个算法复杂度为O(O(2$Ct$) + O($B$) + O($N$)).

      同时, 表 6列出了这6种融合方法在IR-VIS数据集上的计算时间的比较, 实验在具有6 GB RAM和2.4 GHz CPU的计算机上进行.虽然本文方法运行时间较长, 但是在融合图像的对比度和边缘清晰度上有较大提升.

      表 6  各种融合方法的计算时间对比

      Table 6.  Computational time comparison of different fusion methods

      融合方法 GRAD RATIO DWT FPDE CVT-SR VSM 本文方法
      时间(s) 2.7914 0.6909 1.6567 8.1072 5.4289 5.6316 71.7869
    • 本文提出了一种基于四阶偏微分方程(FPDE)的红外与可见光图像融合改进算法, 该融合方法充分利用四阶偏微分方程对源图像进行分解得到高低频分量.不同于传统的分解方法, 基于FPDE的分解能有效地保留源图像的边缘信息.充分利用由多传感器获得的红外与可见光图像的特点, 采用EM算法对低频分量进行融合得到最佳的低频融合带, 因此融合图像可以得到更好的对比度和外观效果.同时采用PCA对高频分量进行融合, 进而重构得到融合图像.实验结果表明, 与现有的融合方法相比, 无论是从主观视觉感受还是客观指标评价, 本文方法所获得的融合图像对比度更高, 图像清晰且能反映更丰富的细节信息, 有效保留图像边缘信息, 更符合人眼的视觉感受.

参考文献 (22)

目录

    /

    返回文章
    返回