《Attribute filter based infrared and visible image fusion》笔记

发表于 2022-09-14 更新于 2024-04-10 分类于论文本文字数： 1.4k 阅读时长 ≈ 1 分钟

原文地址：Attribute filter based infrared and visible image fusion

基本思想

本文主要保留了可见光图像的纹理细节部分，并且将近红外图像中的显著目标部分与可见光图像融合。在提取近红外图像中的显著特征时首先采用特征过滤器（attribute filter）获得基于显著对象的初始权重图（不能保证对齐），之后再采用边缘保护过滤器（edge-preserving filter）对初始权重图进行完善。最后采用拉普拉斯金字塔（Laplacian Pyramid）策略将源图像和最终权重进行融合得到最终输出。

主要创新点

提出了一种以属性为指导的可见光与近红外图像融合算法AGF
设计了一种能够拍摄可见光与近红外图像和视频数据集的系统
在公开的和创建的数据集上的实验证明了AGF方法相比于其他融合算法的优越性

具体实现

AGF实现流程

首先根据不同的阈值和过滤规则获取近红外图像的暗物体和亮物体差异图 $s_a、s_b$ ，之后进行相加操作获取近红外图像中亮暗区域权重图 $S=s_a+s_b、W_R=THRESE(S,\theta)$ （大于设定阈值即为1，否则为0）。经过attribute filter获取到了初始权重图，之后使用域递归滤波器（The domain transform recursive filter）对初始权重图进行优化： $W=DTRF(W_R,R,\delta_s,\delta_r)$ ， $R$ 代表直到图像，如源近红外图像。最后进行拉普拉斯金字塔融合，分别构建出可见光与近红外图像的拉普拉斯金字塔，然后

为权重图 $W$ 构建高斯金字塔，其中图像金字塔的最大分解层数由源图像分辨率决定,其中： $n=\frac{log(min(m,n))}{log(2)}, m\times n$ 代表分辨率；然后对相应的分解层进行计算，最后融合图像 $F$ 可表示为

F=recon(\sum^{N}_{n=1}(1-G^n_W)L^n_{VIS}+G_W^nL_{IR}^n)

实验结果

评价指标选取

一般的，融合指标分为四类：基于信息理论指标、基于图像特征指标、基于图像结构相似性指标和基于人类感知启发的融合指标.本篇论文中采用 $FMI$ （Information Theory-Based Metrics）、 $Q^{AB/F}$ （Image Feature-Based Metrics）、 $Q_Y$ （Image Structural Similarity-Based Metrics）、 $Q_{CB}$ （Human Perception Inspired Fusion Metrics）