江南大学 轻工过程先进控制教育部重点实验室，江苏无锡214122
声音作为物体固有属性之一能为目标检测提供有价值的信息，当前仅通过监测环境声进行目标定位的方法鲁棒性较低，为解决这一问题提出了跨级特征知识转移下的多模态自监督目标检测网络。首先，针对教师网络和学生网络同级特征间学习能力有限的问题，设计了基于注意力融合的多教师跨级特征知识转移损失，通过注意力融合的方式融合学生的深层和浅层特征，更高效地学习对应的教师中间层特征，以提取更多的知识，同时结合KL散度，实现教师和学生网络中间层特征的对齐。此外，为了解决定位信息的缺失的问题，加入定位蒸馏损失，通过让学生的包围盒分布去拟合教师的包围盒分布的方式，来获取更多的定位信息。在多模态视听检测MAVD数据集中对网络进行训练，该网络的mAP值在IOU值为0.5，0.75和平均的情况下较基线网络分别有6.71%，14.36%和10.32%的提升。实验结果证明了该检测网络的优越性。
多模态 知识蒸馏 目标检测 自监督 深度学习 multimodal knowledge distillation object detection self-supervised deep learning
1 厦门理工学院 电气工程与自动化学院，福建 厦门 361024
2 中国科学院 福建物质结构研究所，福建 福州 350108
3 中国科学院 海西研究院 泉州装备制造研究中心，福建 泉州 362000
4 厦门市高端电力装备及智能控制重点实验室，福建 厦门 361024
激光雷达数据由于其几何特性，被广泛应用于三维目标检测任务中。由于点云数据的稀疏性和不规则性，难以实现特征提取的质量和推理速度间的平衡。本文提出一种基于体柱特征编码的三维目标检测算法，以Pointpillars网络为基础，设计Teacher-Student模型框架对回归框尺度进行蒸馏，增加蒸馏损失，优化训练网络模型，提升特征提取的质量。为进一步提高模型检测效果，设计定位引导分类项，增加分类预测和回归预测之间的相关性，提高物体识别准确率。本网络所做改进没有引入额外的网络嵌入。算法在KITTI数据集上的实验结果表明，相比于基准网络，在三维模式下的平均精度值从60.65%提升到了64.69%，鸟瞰图模式下的平均精度值从67.74%提升到70.24%。模型推理速度为45 FPS，在提升检测精度的同时满足了实时性要求。
激光点云 三维目标检测 知识蒸馏 分类置信度 laser point cloud 3D object detection knowledge distillation classification confidence 强激光与粒子束
2024, 36(1): 016001
1 中国科学院上海应用物理研究所上海 201800
2 上海理工大学上海 200093
3 中国科学院大学北京 100049
4 华东交通大学南昌 330006
5 新疆有色金属研究所乌鲁木齐 830000
在钍基熔盐堆（Thorium Molten Salt Reactor Nuclear Energy System，TMSR）中，233Pa是232Th-233U转换链中重要的中间核素，前期研究的结果表明减压蒸馏技术可以有效实现载体盐FLiBeZr和233PaF5的分离。然而，在蒸发过程中，部分金属氟化物与233PaF5一同被蒸发，但蒸发出来的氟化物可能会在不同的温度下进行冷凝。本文对含有233PaF5和多种金属氟化物的FLiBeZr熔盐进行减压蒸馏，考察不同温度下233PaF5和关键金属氟化物的冷凝行为。结果表明，233PaF5和95Nb氟化物最佳的冷凝温度均为600~700 °C；237U和95Zr氟化物最佳的冷凝温度均为400~500 ℃。在233PaF5的最佳冷凝温度区域，考察并比较了233PaF5与关键金属氟化物间的最佳冷凝温度下分离因子（βB）与平均分离因子（βA）的差异。实验结果表明：95NbF5的βB与βA无明显差异，但237UF4和95ZrF4的βB较βA提高了2~20倍。通过金属氟化物间βB和βA的对比，表明减压蒸馏分离不同金属氟化物不仅取决于各组分的挥发性，还取决于对冷凝温度的控制。
减压蒸馏 FLiBeZr 冷凝行为 233PaF5 关键金属氟化物 Low-pressure distillation FLiBeZr Condensation behavior 233PaF5 Key metal fluorides
1 中国地质调查局昆明自然资源综合调查中心, 云南 昆明 650100 中国地质科学院岩溶地质研究所/自然资源部、 广西壮族自治区岩溶动力学重点实验室, 广西 桂林 541004
2 中国地质调查局昆明自然资源综合调查中心, 云南 昆明 650100
原子发射光谱法(AES)广泛应用于多目标地球化学调查、 生态地球化学评价和国际地球化学填图计划(IGCP259/360)等项目配套分析方法中Ag、 B、 Mo、 Sn等元素的测定工作。 以交流电弧粉末法为基础的载体蒸馏技术能够有效减小基体效应, 改善待测元素的分馏过程, 通过建立以Al2O3、 BaCO3、 K2S2O7、 NaF、 S、 Fe2O3、 ［C2F4］n等为主要组份的载体蒸馏技术, 证实该载体缓冲剂能够很好地促使样品中待测元素发生氧化、 氟化及硫化反应。 通过调节一系列物理和化学反应, 提高待测元素的挥发程度, 减小样品基体元素的挥发, 改善了Ag、 B、 Ge、 Mo、 Sn等元素的蒸发过程。 扫描电镜（SEM）显示载体缓冲剂与样品的主量元素在高温电弧中形成复合盐固熔体, 能够吸收CaO、 SiO等基体氧化物, 抑制其对待测组分的干扰, 缓冲剂中载体各组分之间相互协同促进各元素在杯状石墨电极中的反应, 蒸发曲线表明载体缓冲剂能够有效控制各元素的蒸发过程, 整个弧焰区域也处于热力学平衡状态, 在30 s内各待测组分基本蒸发完毕, 而且控制激发电流能够提高信噪比, 降低检出限。 在此基础上建立新的AES-7200型直读发射光谱仪快速测定地球化学样品中Ag、 B、 Ge、 Mo、 Sn等元素的单电极载体蒸馏法, 待测元素标准曲线均具有良好的线性关系, 其相关系数为0.997 21～0.99937, 方法检出限Ag 0.008 μg·g-1、 B 0.646 μg·g-1、 Mo 0.160 μg·g-1、 Sn 0.129 μg·g-1, 精密度(RSD%): 2.27～10.0, 准确度(Δ|logC|)<0.1。 通过大量水系沉积物、 土壤和岩石类样品分析验证试验, 单电极载体蒸馏法能够提高待测元素检测的灵敏度和分析结果的准确度, 并且适用于复杂的碳酸盐、 含氧化铁和结合水较高的硅酸盐类区域地球化学勘查样品的分析, 可以满足不同区域地球化学调查和生态地球化学评价的需要。
载体缓冲剂 单电极载体蒸馏法 发射光谱 区域地球化学 Carrier buffer Single-electrode carrier distillation Atomic emission spectrum Regional geochemistry 光谱学与光谱分析
2023, 43(7): 2132
光学 精密工程
2023, 31(24): 3640
西南交通大学物理科学与技术学院，四川 成都 610000
车轮是铁路列车走行部的重要部件，车轮踏面上产生的缺陷严重危害着铁路列车的安全运行。由于实际中车轮踏面缺陷样本有限，有监督检测模型对缺陷的检测不具有鲁棒性。针对此问题，提出使用无监督的知识蒸馏异常检测模型实现对车轮踏面的异常检测任务。首先，使用UNet对踏面区域进行分割，减少非踏面区域对异常检测模型的影响；然后，在多尺度特征聚合之后添加一个注意力机制，提升反向知识蒸馏结构中学生网络对正常特征的重建能力，增强学生网络对正常特征重建的效果。实验结果表明：在铁路车轮踏面数据集上，改进后的模型能够达到93.8%的受试者工作特性曲线下的面积、82.3%的精准率、95.4%的召回率、87.0%的准确率。与原模型相比，改进后的模型检测性能得到提升。
车轮踏面 无监督 知识蒸馏 异常检测 UNet 激光与光电子学进展
2023, 60(24): 2415002
1 贵州大学 大数据与信息工程学院，贵州 贵阳 550025
2 贵阳铝镁设计研究院有限公司，贵州 贵阳 550009
传统的语义分割知识蒸馏方法仍然存在知识蒸馏不完全、特征信息传递不显著等问题，且教师网络传递的知识情况复杂，容易丢失特征的位置信息。针对以上问题，本文提出了一种基于知识蒸馏的特征提炼语义分割模型FRKDNet。首先根据前景特征与背景噪声的特点，设计了一种特征提炼方法来将蒸馏知识中的前景内容进行分离，过滤掉教师网络的伪知识后将更准确的特征内容传递给学生网络，从而提高特征的表现能力。同时，在特征空间的隐式编码中提取类间距离与类内距离从而得到相应的特征坐标掩码，学生网络通过模拟特征位置信息来最小化与教师网络特征位置的差距，并分别和学生网络进行蒸馏损失计算，从而提高学生网络的分割精度，辅助学生网络更快地收敛。最后在公开数据集Pascal VOC和Cityscapes上实现了优秀的分割性能，MIoU分别达到74.19%和76.53%，比原始学生网络分别提高了2.04%和4.48%。本文方法相比于主流方法具有更好的分割性能和鲁棒性，为语义分割知识蒸馏提供了一种新方法。
语义分割 神经网络 知识蒸馏 特征提炼 深度学习 semantic segmentation neural network knowledge distillation feature refine deep learning
1 江南大学 轻工过程先进控制教育部重点实验室，江苏 无锡 2422
2 无锡市创凯电气控制设备有限公司，江苏 无锡 14400
陶瓷基板是电子器件的重要基础材料，利用机器视觉技术结合深度学习策略实现陶瓷基板的瑕疵检测对保证产品质量具有重要的意义。增加成像设备的视场以实现多个陶瓷基板的同时成像，可以显著提高陶瓷基板的检测速度；但也带来了图像分辨率的降低，并最终导致瑕疵检测精度的降低。针对上述问题，本文提出了一种基于知识蒸馏的低分辨率陶瓷基板瑕疵自动检测方法。该方法利用YOLOv5框架分别构建了教师网络和学生网络，基于知识蒸馏思想将教师网络获得的高分辨率图像特征信息指导学生网络的训练，以提高学生网络对低分辨率陶瓷基板图像的瑕疵检测能力；同时，在教师网络中引入基于Coordinate Attention （CA）注意力思想的特征融合模块，使得教师网络学习到的特征同时适应高分辨率图像信息和低分辨率图像信息，从而能较好地指导学生网络的训练；最后，引入基于Gradient Harmonizing Mechanism（GHM）的置信度损失函数，以提高瑕疵的检出率。实验结果表明，本文基于知识蒸馏的陶瓷基板瑕疵检测方法对于224×224分辨率输入图像的污渍、异物、多金、缺瓷以及损伤这五类瑕疵检测的平均准确率和平均召回率分别达到了96.80%和90.01%，相比于目前主流的目标检测算法，本文算法取得了更好的检测结果。
陶瓷基板 瑕疵检测 YOLOv5 知识蒸馏 ceramic substrate defect detection YOLOv5 knowledge distillation 光学 精密工程
2023, 31(20): 3065
