Author Affiliations
Abstract
College of Engineering and Applied Sciences and Collaborative Innovation Center of Advanced Microstructures, Nanjing University, Nanjing, China
Optical fiber bundles frequently serve as crucial components in flexible miniature endoscopes, transmitting end-to-end images directly for medical and industrial applications. Each core usually acts as a single pixel, and the resolution of the image is limited by the core size and core spacing. We propose a method that exploits the hidden information embedded in the pattern within each core to break the limitation and obtain high-dimensional light field information and more features of the original image including edges, texture, and color. Intra-core patterns are mainly related to the spatial angle of captured light rays and the shape of the core. A convolutional neural network is used to accelerate the extraction of in-core features containing the light field information of the whole scene, achieve the transformation of in-core features to real details, and enhance invisible texture features and image colorization of fiber bundle images.
fiber bundles image enhancement image colorization mode pattern deep learning Advanced Imaging
2024, 1(1): 011002
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
针对当前灰度图像彩色化算法容易出现色彩枯燥、颜色溢出和图像细节损失等问题, 本文提出一种结合全局语义优化的对抗性灰度图像彩色化算法。其中, 生成网络采用自主改进的U-Net网络。一方面, 改进的U-Net网络利用多层卷积对输入图像进行逐步下采样, 在获取多尺度层级特征和全局特征的同时, 在跳跃连接中将全局特征和多尺度层级特征进行自适应融合, 从而有效增强算法对全局语义信息的理解能力并缓解颜色溢出的现象; 另一方面, 改进的U-Net网络在上采样过程中融合通道注意力模块, 使得在提取卷积特征时能够有效抑制噪声并降低特征冗余性。判别网络主要采用全卷积结构, 通过反向传播误差以达到优化生成网络的目的。此外, 本文算法的损失函数将WGAN-GP网络的优化思想和颜色损失相结合, 从而解决传统生成对抗网络训练时出现的梯度消失和模式崩溃等问题。本文算法在Place365测试集上所获取的峰值信噪比、结构相似性和信息熵指标分别为24.455 dB、0.943和7.489。实验结果表明, 本文算法能够缓解颜色溢出, 且细节保持和颜色饱和度方面都具有一定优势。
全局特征 通道注意力模块 图像彩色化 global feature channel attention module WGAN-GP WGAN-GP image colorization
1 东华大学信息科学与技术学院, 上海 201620
2 东华大学数字化纺织服装技术教育部工程研究中心, 上海 201620
3 华东理工大学信息科学与工程学院, 上海 200237
为了将红外图像中所包含的信息更加友好、直观地呈现给用户, 改善用户对于红外图像的理解效果, 针对车载红外图像的特点, 提出了一种基于随机森林分类器和超像素分割算法相结合的车载红外图像彩色化算法。首先对原图的各个像素点进行特征提取, 然后训练随机森林分类器, 使它能够对待测试图像的各个像素点进行正确的分类。再使用超像素分割与直方图统计相结合的方法对分类结果图像进行优化。最后将优化后的分类结果图像转换到 HSV色彩空间进行对应的色彩传递。通过实验证明该方法能够在很好的对红外图像进行彩色化处理的同时, 保证色彩传递的正确性和实时性。
车载红外图像 图像彩色化 随机森林 超像素分割 vehicular infrared image image colorization random forest superpixel segmentation
南京理工大学江苏省光谱成像与智能感知重点实验室, 江苏 南京 210094
根据人类视觉系统的特点, 提出了一种基于谱残差、可在夜视图像彩色融合中的增强显著目标的算法。该方法在彩色融合过程中, 利用谱残差确定显著目标范围, 用5×5的像素大小窗口对显著目标进行定位。当像素邻域均值大于图像整体均值时, 此像素位于显著目标, 用红色凸显目标可达到增强彩色融合图像的目的。实验结果表明, 该方法具有较强的稳定性和实用性, 增强显著目标的效果较好。
显著目标 谱残差 图像彩色化 红外图像 salient object spectral residual image colorization infrared image
北京理工大学信息科学技术学院光电工程系, 北京 100081
研究基于色彩传递的单波段热成像自然感彩色化处理算法,提出一种应用伪彩色编码突出显示热目标的方法。方法首先选定适当的参考图像并对亮度通道做线性变换,然后基于通道间相关性很小的lαβ颜色空间,利用图像像素邻域亮度通道的均值和标准差进行像素间的相互匹配,将参考图像的色彩传递给单波段红外图像,最后寻找色彩传递结果图像中亮度接近最大值的像素,将它们的颜色映射到彩虹编码的高温端,以红色调突出显示。算法用于几种场景类型的单波段红外图像,得到了色彩自然感较好的彩色化热图像,能够避免长时间观察热图像造成视觉疲劳的问题; 突出场景热目标,在保留背景深度感的基础上,可有效提升观察者的目标识别能力。
图像处理 单波段热图像彩色化 色彩传递 伪彩色编码
