红外与可见光图像的自然感彩色融合能够显著提高人眼视觉的情景感知和目标探测能力。基于样本的融合算法是一种快速有效、实时性强的自然感彩色融合算法。针对已有算法构建颜色查找表时存在的样本数据冲突和查找表不完整两个难题，提出一种基于BP 神经网络的自然感彩色融合算法。算法采用BP 神经网络对图像样本的二维灰度向量(g1, g2)和三维色彩向量(R, G, B)进行非线性拟合，从而获得灰度与色彩间的映射关系f(g1, g2)→(R, G, B)，并由此构建完整的颜色查找表。融合时，由输入的双波段图像的灰度g1,g2 和颜色查找表得到彩色融合图像。实验结果表明，本文融合图像颜色自然，景物易于分辨，在清晰度、彩色性、映射准确性方面已经达到甚至优于Toet 算法的图像融合效果。

考虑硬件资源与运算速度的需求, 设计了一种基于数字信号处理(DSP)的具有自然彩色效果的红外与可见光图像融合系统。该系统采用软硬件结合的方法进行双通道图像配准, 基于YCbCr空间实现伪彩色融合, 然后利用自然真彩色参考图像对融合结果进行颜色传递。系统采用基于统计特性的颜色查找表技术, 利用参考图像与伪彩色融合图像的统计特性修正颜色查找表, 提高了计算效率。在系统的硬件平台上进行了实验, 结果表明, 系统融合图像接近自然色彩, 在保留可见光图像细节的前提下, 有效地突出了红外图像中的热目标。该系统融合速率达到25 frame/s, 能够实现红外与可见光图像的实时融合与自然彩色化, 有助于观察人员快速地发现目标, 弥补了单一图像传感器的不足。