1 天津大学 电气自动化与信息工程学院，天津 300072
2 天津津航技术物理研究所，天津 300308
近年来，基于深度学习的目标检测技术在机器人、自动驾驶和交通监控等领域有着广泛的应用。然而，由于训练集和测试集样本分布偏差的原因，将现成的预训练检测器应用到实际开放场景时通常会出现明显性能下降。针对该问题提出了一种频域内的领域自适应方法，利用离散余弦变换的频域能量集中特性，通过在频域内对少数重要频率系数进行处理，实现了面向目标检测的领域自适应，降低了对存储和计算资源的要求并减少了领域差异。该方法可以分为两个阶段：第一阶段使用无监督图像转换方式，将源域已标注的训练数据向目标域作转换；第二阶段采用基于对抗的领域自适应方法训练目标检测模型，对转换后的训练数据与目标域内的数据作特征适配。针对不同天气场景的目标识别实验表明：所提的频域内领域自适应方法在4种领域自适应对比算法中排名第一，与仅用源域数据训练的模型相比，mAP值提升了33.9%。
领域自适应 目标检测 图像转换 频域 domain adaptation object detection image translation frequency domain 红外与激光工程
2022, 51(7): 20210638
1 合肥工业大学计算机与信息学院，安徽 合肥 230009
2 工业安全与应急技术安徽省重点实验室，安徽 合肥 230009
3 安徽省蚌埠市公安局科技信息科，安徽 蚌埠 233040
随着可见光-红外双模相机在视频监控中的广泛应用，跨模态人脸识别也成为计算机视觉领域的研究热点，而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题，在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题，本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下，利用双向的对比学习挖掘人脸图像的精细化表征。同时，本文设计了一种面部边缘增强损失，利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后，在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明，与近期的主流方法相比，本文方法生成的可见光人脸图像更加贴近真实图像，能够更好地还原人脸图像的面部边缘细节和肤色信息。
国防科技大学电子科学学院, 湖南长沙 410000
针对不同谱段图像获取代价不同的问题, 提出一种基于生成对抗网络的图像转换方法。转换过程以肉眼可分辨范围内图像轮廓不变为出发点。首先, 通过成对的训练数据对生成器和判别器进行交替训练, 不断对损失函数进行优化, 直到模型达到纳什平衡。然后用测试数据对上述训练好的模型进行检测, 查看转换效果, 并从主观观察和客观上计算平均绝对误差和均方误差角度评价转换效果。通过上述过程最终实现不同谱段图像之间的转换。其中, 生成器借鉴U-Net架构; 判别器采用传统卷积神经网络架构; 损失函数方面增加 L1损失来保证图像转换前后高、低频特征的完整性。以红外图像与可见光图像之间的转换为例进行实验, 结果表明, 通过本文设计的生成对抗网络, 可以较好地实现红外图像与可见光图像之间的转换。
生成对抗网络 图像转换 红外图像 generative adversarial networks image conversion pix2pix pix2pix infrared image 太赫兹科学与电子信息学报
2021, 19(4): 724
陆军工程大学石家庄校区电子与光学工程系, 河北 石家庄 050003
针对合成孔径雷达图像与光学遥感图像模式差异大、相互转换困难的问题,基于现有空间分离图像转换框架,提出了一种基于空间分离表征的循环一致性生成对抗网络(GAN)。以更深的网络层和跳跃连接完成图像风格和内容分离,通过学习内容映射关系,完成内容特征转换,而后组合目标风格特性实现图像转换。利用PatchGAN判别器,强化模型的图像细节信息生成能力,并新增目标误差损失和生成重建损失将转换任务限制为一对一映射,减少信息添加,约束生成网络。在SEN1-2、SARptical、WHU-SEN-City数据集上进行实验验证,相较于其他图像转换算法,所提方法能够有效实现两类遥感图像互转,生成图像清晰度高、细节特征完整、真实感强。
遥感 图像转换 合成孔径雷达 光学遥感图像 循环一致性生成对抗网络
海军工程大学 电气工程学院, 湖北 武汉 430033
基于深度学习的视频火灾探测模型的训练依赖于大量的正负样本数据, 即火灾视频和带有干扰的场景视频。由于很多室内场合禁止点火, 导致该场景下的火灾视频样本不足。本文基于生成对抗网络, 将其他相似场景下录制的火焰迁移到指定场景, 以此增广限制性场合下的火灾视频数据。文中提出将火焰内核预先植入场景使之具备完整的内容信息, 再通过添加烟雾和地面反射等风格信息, 完成场景与火焰的融合。该方法克服了现有多模态图像转换方法在图像转换过程中因丢失信息而造成的背景失真问题。同时为减少数据采集工作量, 采用循环一致性生成对抗网络以解除训练图像必须严格匹配的限制。实验表明, 与现有多模态图像转换相比, 本文方法可以保证场景中火焰形态的多样性, 迁移后的场景具有较高的视觉真实性, 所得结果的FID与LPIPS值最小, 分别为119.6和0.134 2。
图像转换 生成对抗网络 火焰图像合成 循环一致性生成对抗网络 image translation generative adversarial network fire image synthesis Cycle Generative Adversarial Network(CycleGAN)
中国航空工业集团公司洛阳电光设备研究所，河南 洛阳471000
在激光扫描显示技术中，基于Lissajous图形的扫描显示具有扫描路径不规则的特点。为了使常见的逐行光栅扫描图像输入经过Lissajous扫描后正确输出显示，需要进行图像转换。按照一定的像素坐标和像素时序解算方法，计算出Lissajous扫描轨迹中当前显示像素与下一显示像素的坐标和时序关系，并参照解算出的扫描坐标和时序，提取原输入图像对应坐标处的像素进行输出，从而完成一幅图像的Lissajous扫描显示。利用Matlab对880*660@25 Hz分辨率图像进行仿真分析，得出了Lissajous扫描显示的图像像素坐标数据和时序数据，并统计出了两种数据的分布情况，仿真结果表明，该图像显示算法能准确有效地完成光栅扫描图像到Lissajous扫描的显示转换。
激光扫描显示 图像转换 坐标变换 时序变换 laser scanning display image conversion coordinate transformation timing transformation Lissajous Lissajous
提出了一种基于MEMS技术的红外动态图像生成技术。利用热传导方程，建立了可见光/红外图像转换膜的理论模型；介绍了可见光/红外图像转换膜制作的工艺流程，制作了一张像元数为512×512、像元尺寸为35 μm的可见光/红外图像转换膜。并利用转换膜构造了红外动态图像生成装置，通过实验对红外动态图像生成装置的性能进行了研究。利用MEMS技术制作的可见光/红外图像转换膜可以工作在红外3~5 μm和8~12 μm两个波段。根据实验测得红外图像生成装置的空间分辨率为14 lp/mm，在3～5 μm波段，所生成红外图像的温度范围为250~440 K，在8～12 μm波段，所生成红外图像的温度范围为250~400 K。
红外动态图像生成 微机电系统 可见光/红外图像转换膜 仿真 infrared dynamic scenes generation micro-electro-mechanical systems(MEMS) visible/infrared image film transducer simulation 红外与激光工程
2016, 45(2): 0204002
辐射成像系统中，射线沿闪烁体厚度方向产生的光经过镜头形成一个弥散的像。这通常是此类系统空间分辨的主要限制因素。建立了几何光学成像模型，描述了近心光路中此图像的空变特性。用点扩散函数均方根半径表征系统空间分辨性能，给出了图像点扩散函数均方根半径的表达式，其与闪烁体厚度、折射率、镜头相对孔径、成像倍率、射线入射点相对位置直接相关。将硅酸镥晶体3维发光强度分布与镜头进行耦合，分析了闪烁体发光强度分布对耦合的影响。采用点扩散函数均方根半径为最小的原则，建立了一个推导闪烁体相对于物镜放置在最佳位置的方法。
辐射成像 空间分辨 几何光学 图像转换屏 物镜 标准偏差 radiography spatial resolution geometric optics image converter lens standard deviation
