提出一种基于改进颜色传递策略与非下采样 Contourlet变换(NSCT)的红外与可见光图像伪彩色融合算法。首先, 利用 NSCT与基于清晰区域的 Canny边缘检测算法获得灰度融合图。其次, 将融合灰度图像插入 Y通道, 源图像与融合灰度图像之间的残差图像分别插入 Cb、Cr通道以生成 YCbCr源彩色图像。最后, 利用本文设计的颜色传递模型对源彩色图像和目标图像进行色彩颜色统计匹配, 同时, 通过自适应颜色传递参数模型调整颜色传递参数。实验结果表明, 本文提出的融合算法使得伪彩色融合图像不仅对比度高、传递色彩自然、可以较好地抑制色彩渗入图像目标, 而且对目标图像质量要求不严格。

特定目标或场景红外中、长波成像亮度差异较大，导致图像融合难以在灰度域取得较好效果，而彩色融合则可以有效地解决该问题。本文结合红外中、长波成像特点，对两种经典彩色融合算法进行了改进：通过引入相应的清晰度评价机制，实现对融合决策的优化。实验结果验证了改进算法的有效性。

长波红外与可见光图像的自然感彩色融合有助于观察者快速感知环境和发现目标, 而共光轴结构对于提高融合图像质量和简化配准算法具有独特的优势。为满足战场侦查、监视等需求, 设计了一种基于TMS320DM642数字信号处理器和ATmega32单片机的共光轴实时彩色融合系统。融合系统的长波红外和可见光成像系统平行放置, 利用分光镜和反射镜实现光路分离, 通过视场匹配和光轴校准实现双波段视频图像完全配准。图像处理程序基于DSP/BIOS嵌入式操作系统开发, 根据视频图像的特点, 采用基于CbCr查找表的自然感彩色融合算法。针对硬件特点, 对融合算法进行优化, 使720 pixel×576 pixel的单帧图像融合时间为9.18 ms, 满足25 frame/s的实时融合要求; 融合图像呈现自然色彩, 场景中的热目标易于辨识。文中对共光轴融合系统设计、实现过程中相关问题的研究具有参考借鉴价值。

针对红外与可见光双波段夜视图像增强提出了基于oRGB颜色空间的彩色融合算法。选择亮度与颜色分离的对立色颜色空间, 应用多尺度Top-hat变换方法将红外与可见光增强融合图像作为伪彩色图像的亮度分量, 根据双波段图像的差异性并结合参考图像色调构造颜色分量; 为避免线性变换的颜色传递方法容易造成灰度级压缩或过饱和情况, 在分析颜色传递机理的基础上, 使用非线性的直方图匹配方法实现颜色传递。实验结果表明, 融合图像的颜色分布更自然, 纹理细节、整体亮度和对比度等视觉特征表现更优。

红外与可见光图像的自然感彩色融合能够显著提高人眼视觉的情景感知和目标探测能力。基于样本的融合算法是一种快速有效、实时性强的自然感彩色融合算法。针对已有算法构建颜色查找表时存在的样本数据冲突和查找表不完整两个难题，提出一种基于BP 神经网络的自然感彩色融合算法。算法采用BP 神经网络对图像样本的二维灰度向量(g1, g2)和三维色彩向量(R, G, B)进行非线性拟合，从而获得灰度与色彩间的映射关系f(g1, g2)→(R, G, B)，并由此构建完整的颜色查找表。融合时，由输入的双波段图像的灰度g1,g2 和颜色查找表得到彩色融合图像。实验结果表明，本文融合图像颜色自然，景物易于分辨，在清晰度、彩色性、映射准确性方面已经达到甚至优于Toet 算法的图像融合效果。

针对用传统的颜色传递算法得到的彩色融合图像 存在目标与背景颜色相近、目标变淡的问题,提出了一种基于颜色对比度 增强的红外与微光图像彩色融合方法。首先对红外和微光图像进行 了伪彩色融合,然后对彩色参考图像与伪彩色融合图像进行了颜色传 递。其次,采用大津分割法分割出了微光图像中的目标信息,并得到了目标 区域。最后,在HSI颜色空间中利用目标区域对颜色传递后的融合图像 的H、S、I分量进行了调整,并得到了最终的融合图像。实验结果表明,利 用该方法得到的彩色融合图像具有目标与背景对比度高、细节丰富、色 彩较好等特点,可提高人眼对场景的理解和对目标的快速识别。

机载传感器侦察及地面数据融合处理是美军军用研究实验室规划的无人机态势感知技术发展的第四等级。独立成分分析(ICA)应用于图像处理是在分析人眼视觉系统特性基础上利用稀疏编码的一种新颖的变换域方法, 具有多方向性、特征提取及边缘建模特性。色彩传递是目前融合图像自然感彩色化的最佳途径。以增强无人机态势感知为目的, 结合两者研究突出波段特征的自然感彩色融合方法。根据场景建立训练图像库并提取独立波段特征信息构建ICA域的分析核和综合核, 在ICA域按照区域能量融合规则生成灰度融合图像, 根据视觉任务将源图像线性映射到色彩通道赋予灰度融合图像彩色信息, 采用控向金字塔对源彩色融合图像和彩色参考图像的各通道进行多分辨率分解, 将各通道的子图像进行均值、方差传递, 最终获得类似彩色参考图像色彩的融合图像。人眼感知和客观评价表明: 融合图像波段特征突出且增强了细节信息, 色彩自然、舒适, 进一步改善了机载平台的场景感知。

考虑人眼主观评价在彩色融合图像质量评价中的重要作用，设计了52人的彩色融合图像质量主观评价实验。 采用“目标背景的感知对比度”，“清晰度”，“颜色协调性”，“颜色自然感”4个单一评价指标以及“基于目标探测的图像感知质量”，“基于场景理解的图像感知质量”2个综合评价指标对绿地、海天和城镇3类典型场景、8种融合算法获得的240幅彩色融合图像进行了主观评价，并依此进行指标分值归整及相关性分析，建立了2个综合指标的预测模型。实验结果表明：彩色融合图像的“颜色协调性”和“颜色自然感”有较高的相关性；基于目标探测的图像感知质量可用“目标背景的感知对比度”和“清晰度”来描述，基于场景理解的图像感知质量可用“颜色协调性”和“清晰度”来描述。但是对于不同的场景，每个指标的影响效果不同，所以预测模型中的权重系数不同。

考虑硬件资源与运算速度的需求, 设计了一种基于数字信号处理(DSP)的具有自然彩色效果的红外与可见光图像融合系统。该系统采用软硬件结合的方法进行双通道图像配准, 基于YCbCr空间实现伪彩色融合, 然后利用自然真彩色参考图像对融合结果进行颜色传递。系统采用基于统计特性的颜色查找表技术, 利用参考图像与伪彩色融合图像的统计特性修正颜色查找表, 提高了计算效率。在系统的硬件平台上进行了实验, 结果表明, 系统融合图像接近自然色彩, 在保留可见光图像细节的前提下, 有效地突出了红外图像中的热目标。该系统融合速率达到25 frame/s, 能够实现红外与可见光图像的实时融合与自然彩色化, 有助于观察人员快速地发现目标, 弥补了单一图像传感器的不足。

提出了感知清晰度评价模型, 来评价人眼对红外与可见光彩色融合图像细节和边缘的可辨识度。 首先, 利用人眼对比度敏感函数模型, 抑制在特定观察条件下图像中人眼不敏感的频率成分。 之后, 在局部频带对比度模型基础上, 结合人眼亮度掩模特性构造了感知对比度模型。 最后, 计算融合图像人眼兴趣区域(细节和边缘区域)的感知对比度, 进而评价融合图像的感知清晰度。 实验结果表明, 与现有的五种彩色图像清晰(模糊)度的客观评价模型相比, 考虑人眼视觉特性感知清晰度模型的计算结果与人眼主观感受具有较好的一致性, 可以有效地对彩色融合图像清晰度进行客观评价。