针对红外图像与可见光图像融合中细节丢失严重,红外图像的特征信息未能突出显示以及源图像的语义信息被忽视的问题,提出一种基于二次图像分解的红外图像与可见光图像融合网络(Secondary Image Decomposition For Infrared And Visible Image Fusion,SIDFuse)。利用编码器对源图像进行二次分解以提取不同尺度的特征信息,然后利用双元素注意力为不同尺度的特征信息分配权重、引入全局语义支路,再采用像素相加法作为融合策略,最后通过解码器重建融合图像。实验选择FLIR数据集用于训练,采用TNO和RoadScene两个数据集进行测试,并选取八种图像融合客观评价参数进行实验对比分析。由TNO数据集的图像融合实验表明,在信息熵、标准差、空间频率、视觉保真度、平均梯度、差异相关系数、多层级结构相似性、梯度融合性能评价指标上,SIDFuse比基于卷积网络中经典融合算法DenseFuse分别平均提高12.2%,9.0%,90.2%,13.9%,85.1%,16.8%,6.7%,30.7%,比最新的融合网络LRRNet分别平均提高2.5%,5.6%,31.5%,5.4%,25.2%,17.9%,7.5%,20.7%。可见本文所提算法融合的图像对比度较高,可以同时更有效保留可见光图像的细节纹理和红外图像的特征信息,在同类方法中占有明显优势。
针对文献[Xu R et al.,IEEE Trans.Biomed.Eng.,2014]的多尺度图像分解模型,该文提出了Alternating Direction Implicit (ADI)格式下的多尺度图像分解算法,并证明了在该模型下ADI格式的收敛性和稳定性,进一步,通过对不同图像的数值实验,验证了该文提出的算法具有更好的纹理提取效果.
