1 苏州科技大学物理科学与技术学院，江苏 苏州 215009
2 中国科学院长春光学精密机械与物理研究所应用光学国家重点实验室，吉林 长春 130033
针对传统水接触角测量过程需要人工干预，导致测量结果精度低、可复现性差等问题，提出一种基于改进Faster RCNN的水接触角测量方法。首先，把Faster RCNN骨干网络VGG16替换为ResNet101，在其残差块末尾处添加注意力机制模型convolutional block attention module（CBAM），增强网络提取特征的能力；其次，融入特征金字塔网络（FPN），充分提取不同尺度下的特征信息，此外，引入Focal损失函数来解决正负类样本不均衡的问题；最后，对定位到的水滴进行边缘检测和角点提取，再利用迭代重加权最小二乘法（IRLS）拟合椭圆轮廓计算水接触角。实验结果表明，改进后的Faster RCNN目标检测算法与原算法相比，平均精度均值提高10.794%，速度提升11 frame/s，水接触角测量结果平均标准偏差为0.109°。
图像处理 水接触角 特征金字塔网络 注意力机制 Faster RCNN 激光与光电子学进展
2024, 61(8): 0812002
杜芸彦 1,2,3杨锦辉 1,2,3李鸿 1,2,3毛耀 1,2,3江彧 1,2,3
1 中国科学院,光束控制重点实验室
2 中国科学院,光电技术研究所, 成都 610000
3 中国科学院大学, 北京 100000
当前大部分目标检测都依赖于大规模的标注数据集来保证其检测的正确率, 而在实际场景中, 大量数据的获取是十分困难的, 且对数据的标注也需要花费大量人力物力。针对这一问题提出了一种基于Faster RCNN的少样本目标检测算法(CA-FSOD), 在目标类别仅有少量标注样本的情况下, 对目标样本进行检测。为了提高检测性能, 首先提出了CBAM-Attention-RPN模块, 减少无关候选框的数量; 其次提出了全局-局部关系检测器模块, 通过关联少量标注样本和待检测样本的特征, 获取与目标类别更相关的候选区域; 最后提出了基于余弦Softmax损失的分类器作为目标检测的分类分支, 能有效地聚合同类别特征、降低类内方差、提高检测精度。为了验证所提算法, 在MS COCO数据集上进行了训练和测试, 实验结果表明, 该方法的AP50为21.9%, 优于目前一些少样本目标检测算法。
目标检测 少样本学习 少样本目标检测 注意力机制 object detection few-shot learning few-shot object detection Faster RCNN Faster RCNN attention mechanism
1 湖南科技大学机电工程学院，湖南 湘潭 411201
2 长沙视浪科技有限公司，湖南 长沙 410006
针对金属化陶瓷环缺陷面积小、可利用信息少的特点和缺陷检测精度低的问题，提出一种目标检测与图像分类网络融合的金属化陶瓷环缺陷检测方法。首先，使用针对小面积目标检测特点改进的Faster-RCNN目标检测网络实现对缺陷的初步识别与定位。接着，使用插值方法将定位到的缺陷区域放大，利用图像相邻像素之间的信息关联，增加缺陷检测的特征信息量。然后，使用ResNet图像分类网络对放大后的区域进行缺陷类别判断。最后，融合目标检测网络和图像分类网络的结果，获得最终的缺陷检测结果。实验结果表明，所提方法能在保障缺陷检测查全率的同时有效提升查准率，且能准确定位缺陷区域。
金属化陶瓷环 缺陷检测 Faster-RCNN 模型融合 小目标检测 激光与光电子学进展
2023, 60(20): 2015007
1 上海工程技术大学 机械与汽车工程学院，上海 201620
2 复旦大学附属眼耳鼻喉医院 眼科，上海 200031
视网膜微动脉瘤的检测对于早期发现糖尿病视网膜病变等重要疾病至关重要，但该病灶尺寸相对较小，属于眼底图像中的微小目标，现有的微动脉瘤检测算法难以实现该病灶的精准检测，为此提出了基于多特征尺度融合的改进Faster-RCNN微动脉瘤自动检测算法。该算法在Faster-RCNN网络模型的基础上，首先采用多特征尺度融合对特征提取网络与RPN结构进行改进以提高网络对于微小目标特征的利用；然后，通过感兴趣区域齐平池化以消除感兴趣区域池化过程中引入的量化误差；最后，通过对损失函数中的smooth L1损失函数进行重新设计得到平衡L1损失函数以实现损失函数优化，从而有效降低大梯度难学样本与小梯度易学样本间的不平衡问题，进而使得模型能够得到更好地训练。针对眼底图像中微动脉瘤的自动检测，将优化后的Faster-RCNN网络模型在Kaggle数据集上进行训练及测试，并与其他方法进行对比。实验结果表明，与其他各种结构的Faster-RCNN网络模型相比，所提出的基于多特征尺度融合的改进Faster-RCNN算法能显著提高检测结果（F-score与原始Faster-RCNN相比提升了9.36%）；与其他网络模型以及方法相比，所提出的基于多特征尺度融合的改进Faster-RCNN的自动检测精度明显更优。故所提出的基于多特征尺度融合的改进Faster-RCNN算法性能较优，能准确、有效地检测出眼底图像中的微动脉瘤。
眼底图像 微动脉瘤 Faster-RCNN 多特征尺度融合 深度学习 Fundus image Microaneurysms Faster-RCNN Multi feature scale fusion Deep learning
华北理工大学 电气工程学院，河北 唐山 063200
针对传统机器视觉检测识别方法受到装配零件之间相互遮挡、零件不同位姿、外部光照强度、小目标漏检影响，检测准确率不高的问题，提出了一种改进的Faster RCNN（region-based convolutional neural networks）零件识别方法。首先使用提取特征更好的ResNet101网络代替原始Faster RCNN模型中的VGG16特征提取网络；其次针对原始候选区域网络，增加2个新的锚点并重新设置候选框的纵横比，以得到15种尺寸不同的锚点；然后针对传统非极大值抑制（non-maximum suppression，NMS）方法因删除交并比大于阈值的候选框而出现漏检问题，使用Soft-NMS方法替换传统的NMS方法，从而减少密集区域漏检的情况；最后在训练模型阶段采用多尺度训练策略，降低漏检率，提高模型准确率。对零件的识别实验结果表明：改进后的Faster RCNN模型能够达到96.1%的精度，较原始模型提升了4.6%，可以满足光照较强、存在水渍干扰等较为复杂环境中零件的识别检测。
零件识别 Faster RCNN ResNet101 候选区域 parts identification Faster recurrent convolutional neural network ResNet101 candidate region
1 苏州科技大学 电子与信息工程学院, 江苏 苏州 215009
2 苏州市智能测控工程技术研究中心, 江苏 苏州 215009
针对人工和传统自动化检测偏光片表面缺陷的准确性和效率问题, 解决传统机器视觉在人工设计特征和泛化能力差的问题, 提出了一种基于改进Faster-RCNN的偏光片表面缺陷检测方法。通过对比四种特征提取网络最终选择ResNet-101并引入特征金字塔网络(FPN)来提高对小缺陷的检测能力; 接着采用ROI Align取代原始的ROI Pooling以解决两次取整操作引起的像素误差; 最后通过采集方案获取偏光片表面图像, 建立三种缺陷类型的数据集, 结合k-means++聚类算法来改进anchor生成方案。实验表明, 改进后的网络在偏光片缺陷数据集的mAP达到93.5%, 平均检测单张待测图像耗时0.142s, 能够满足实际检测的需求。
表面缺陷检测 卷积神经网络 surface defect detection convolution neural network FPN FPN Faster-RCNN Faster-RCNN k-means++ k-means++
随着水下航行器噪声水平的不断降低，水下航行器形成的尾流红外成像特征就成为其主要可探测的特征源之一，利用水下航行器尾流的水面红外特征来探测水下航行器的踪迹逐渐发展成为一种新的探测方式。由于人工判别尾流特征的效率低，准确性不高，采用人工智能深度学习的方式能够得到较大的改善。本文以水下航行器尾流红外特征识别为研究核心，通过图像分类制作了混合类的样本集，利用迁移学习比较不同预训练网的对尾流的训练效果，讨论预训练网内部参数对尾流训练效果的影响，结合 Faster-RCNN算法，最终测试对尾流的识别精度，在 45个 2类尾流的小样本集下，预训练之后的网络在识别准确度上增加了 21.43%，误检率下降了 2.14%，带有红外特征的图像在定位精准率上比可见光图像高 18.18%。该预训练测试对未来研究尾流探测结合卷积神经网络的识别有一定的应用潜力。
红外特征 尾流 深度学习 迁移学习 infrared characteristics, wake, deep learning, tra faster-RCNN
大连海事大学船舶电气工程学院，辽宁大连 116026
针对现有以雷达技术和红外热成像技术为代表的 HOV（High occupancy vehiclelane）车道车辆乘员数量检测方法可靠性差、准确率低等问题，提出一种基于多光谱红外图像与改进 Faster R-CNN（Region-Convolutional Neural Networks）的车辆乘员数量检测方法。通过多光谱红外成像系统获得汽车内部空间图像，结合 Faster R-CNN深度学习算法实现乘员数量检测，通过采用全卷积网络结构、多尺度特征预测、使用 ROI-Align代替 ROI-Pooling等方式增强网络的泛化能力。通过对样据进行 K-means聚类得到目标框长宽几何比例先验分布，提高区域生成（ region proposal network，RPN）网络训练速度和位置回归准确性。测试结果表明，获得的汽车内部空间图像较为清晰，算法可以实现对乘员数量的检测。经过改进，网络的泛化能力得到增强，单乘员检测的准确率达到 88.6%，相比于改进前提高了 13.8%，能够满足行业规定大于 80%的要求。
多光谱红外图像 全卷积 K-means聚类 multispectral infrared image, faster-RCNN, full co Faster-RCNN ROI-Align
大连海事大学 信息科学技术学院，辽宁 大连 116026
夜间环境下人车的检测与识别在自动驾驶，安防等领域具有重要意义。本文提出使用性价比较高的低分辨率红外热成像摄像机拍摄的图像来进行夜间的人车检测与识别，并根据图像独特的性质对Faster RCNN 网络进行了优化。增加多通道卷积层来适应热成像图像的灰度特性。使用全局平均池化层来适应较少的图像及类别数量，增加批标准化层来防止加深加宽网络后可能出现的梯度消失或爆炸。使用在城市夜间环境中采集的2000 张低分辨率热成像图像对网络进行训练与测试，平均准确识别率达到71.3%。相比于传统的检测手段，本组合方法在真实的场景中取得了较好的识别效果，同时提升了准确识别率，有效解决了夜间环境下人车检测与识别的问题，鲁棒性及应用价值较强。
自动驾驶 夜间环境 人车检测与识别 红外热成像 self-driving car, night time environment, detectio Faster RCNN
1 天津工业大学机械工程学院, 天津 300387
2 天津市现代机电装备技术重点实验室, 天津 300387
3 北京大恒图像视觉有限公司, 北京 100085
采用深度学习方法对棉花中的异性纤维进行分类识别。首先建立异性纤维数据集,针对异性纤维尺寸和形状多样性的特点,采用基于Faster RCNN的目标识别框架,以RseNet-50代替原始的VGG16作为异性纤维分类模型的特征提取网络,并采用k-means++聚类算法对候选框生成尺寸进行改进;然后对模型进行训练,实现棉花中异性纤维的分类和定位。训练后的模型在验证集上的准确率达到94.24%,精度为98.16%,召回率为95.93%,精确率和召回率的调和平均数(F1分数)为0.970。对比改进前、后模型对异性纤维的识别效果,改进后的模型在小尺寸、大长宽比和密集出现的情况具有更好的识别效果,相对于原始模型,其准确率、精度、召回率和F1分数分别提高了3.21%、0.90%、2.51%和0.017。
图像处理 异性纤维 深度学习 目标识别 Faster RCNN k-means++ 激光与光电子学进展
2020, 57(12): 121007
