1 引言

经抛光加工后的光学元件表面仍存在麻点、划痕等疵病^[1-2]。在精密光学系统(如飞秒激光器)中,光学元件表面的疵病会引起衍射,从而产生噪声光斑,导致光学系统的精度降低^[3-4]。同时,光学元件表面的疵病还会吸收大量光能量,产生热应力,导致光学元件表面甚至整个光学系统遭到破坏^[5-6]。因此,在使用精密光学系统前均需要对其光学元件进行表面疵病精密检测。

根据检测原理不同,光学元件表面疵病检测方法主要有目视法^[7]、滤波成像法^[8-11]、暗场成像法^[12-13]等。目前主流的表面疵病检测方法为基于白光照明和传统光学显微成像术的暗场成像法。基于该方法的检测装置通常使用白光作为照明光源,使用灰度相机作为成像单元。在该装置拍摄的图像中,元件表面疵病的细节信息容易被掩盖或者忽略^[14]。采用多光谱技术检测疵病的方法可以弥补上述方法的不足。传统的多光谱检测方法一般采用滤波片分光法等物理分光方法来提取疵病。受到可用滤波器件的限制,传统的多光谱检测方法的检测效率远不能满足高效准确的光学元件疵病图像检测要求^[15],且其不能根据疵病类型快速准确地选择不同类型的滤波器件。本文采用光谱估计算法提取疵病的单光谱分光图像,利用多光谱技术合成新的多光谱疵病图像^[16],利用优化后的OTSU(Otsu Image Segmentation Algorithm)筛选最佳疵病合成图像,在最佳疵病合成图像中进行疵病位置检测和数量统计,从而提高疵病检测的精度和效率,降低疵病检测成本。

2 基本原理

对光学元件的表面疵病进行图像再现受很多与波长相关的因素影响,如光源的光谱辐射分布E(λ)、电荷耦合元件/互补金属氧化物半导体(CCD/CMOS)传感器的光谱灵敏度S(λ)、滤波器件的光谱传输率f_i(λ)、光学系统的光谱传输率L(λ)、被测物体某一位置S(x,y)处的表面反射率r(λ,x,y)、噪声n_i(x,y)等,其中λ为光谱波长,i为CCD/CMOS的响应通道,(x,y)为像素点的位置。

根据光谱辐射的原理,像素点(x,y)处的输出信号可表示为

vi(x,y)=∫fi(λ)E(λ)S(λ)·L(λ)r(λ,x,y)dλ+ni(x,y),i∈{r,g,b},(1)

式中:r为CCD/CMOS的红光通道,g为绿光通道,b为蓝光通道。

将连续波长离散化后写成向量或矩阵形式,并在可见光范围(400~700 nm)内对反射光谱每隔5 nm进行离散化,即r=[r₄₀₀, r₄₀₅, …, r₇₀₀]^T,r为61×1的向量,r₄₀₀为波长为400 nm时的反射光谱率。令A≡ FT1ES为系统矩阵,代表整个疵病检测系统的特性,则探测图像的计算公式为

V=FT1ES·r+n=A[r400,r405,…,r700]T+n,(2)

式中:V为探测图像;F₁为滤波器件光谱传输率矩阵;E为源光谱辐射分布矩阵;S为CCD/CMOS光谱灵敏度矩阵;n为噪声矩阵。

考虑成像系统为线性系统,基于最小二乘法可使估计反射光谱r'与被测物体实际反射光谱r之间的方差e=<|r-r'|>最小化,估计反射光谱为

r'=Gv,(3)

式中:v为输出信号,G为光谱估计矩阵。根据维纳方法可得到矩阵G为

G=RrrATARrrAT+Rnn)-1=r·vT(v·vT+Rnn)-1,(4)

式中:R_rr= <rr^T>为被测物体实际反射光谱r的自相关矩阵,该矩阵可通过反射光谱测得;R_nn=<nn^T>为噪声的自相关矩阵,可通过测量CCD的噪声图样获得。通过比对矩阵元均为0的R_nn与矩阵元均为 N-DC的R_nn( N-DC为暗环境下噪声直流分量的均值),(4)式采用的是矩阵元均为 N-DC的R_nn。矩阵r是通过分光光度计测得的由标准色卡光谱反射率构成的矩阵,在采用分光光度计标定反射率时,已考虑暗场成像入射光和反射光角度、CCD相对位置。矩阵v是装置测得的标准色卡的RGB矩阵。光谱估计矩阵G为61×3的矩阵,实验中矩阵G为

G=-0.0063010.0249980.147081-0.0181790.0358030.175487︙︙︙0.452833-0.111536-0.04386561×3。(5)

根据(3)~(5)式,通过输出信号v以及光谱估计矩阵G可计算出反射光谱。根据光谱估计公式得到400~700 nm范围内的不同波长的估计反射光谱。设置滤波矩阵F,对估计光谱进行光谱选择与合成,将选取的三个指定波段的光谱图像作为新图像的RGB三个分量进行重新合成,则光学元件表面疵病的多光谱合成图像I为

I=F·r'=F·G·v。(6)

当间隔5 nm离散化400~700 nm波长区间时,F为3×61的矩阵,F的每行只有一个元素为1,其他元素均为0。因此,多光谱合成图像I为

IrIgIb=M·vrvgvb=m11m12m13m21m22m23m31m32m33·vrvgvb,(7)

式中:M为拟合矩阵;v_i为输入图像对应通道响应值;I_i为输出图像对应通道响应值,i∈{r,g,b}。

利用光谱估计技术获取不同波长的单光谱图像,结合多光谱技术进行图像合成,从而实现对疵病的优化表征,便于后续的疵病准确高效识别与提取,该算法的主要流程如图1所示。

图 1. 基于光谱估计与多光谱技术的疵病检测算法流程图

Fig. 1. Flow chart of defect measurement algorithm based on spectral estimation and multispectral technique

下载图片 查看所有图片

3 基于光谱估计与多光谱技术的光学元件表面疵病检测装置

为便于比对,光学元件表面疵病检测装置仍然采用基于光学显微暗场成像技术的结构。如图2所示,照明光源发出的白光通过光纤分光器被分成4束对称布局的平行光,每束平行光均斜入射到被测光学元件表面,实现近似环形照明。装置采用三维纳米位移台(XYZ Stage)对被测光学元件进行准确对焦和显微光学定位,被测光学元件表面的散射光经过显微成像光学单元后会聚到彩色相机像面。为避免相干光噪声,装置光源采用LUMEN_DYNAMICS公司X-CiteX系列非相干光源,光源波长范围为300~750 nm,显微光学单元放大倍率为10×。在可见光波段,该检测装置的分辨率为0.87~1.53 μm。与传统光学显微暗场成像装置所使用的灰度相机不同,该系统采用彩色相机以获得多光谱图像。

图 2. 疵病检测系统。(a)检测系统结构图;(b)检测系统实物图

Fig. 2. Defect measurement system. (a) Schematic of defect measurement system; (b) picture of experimental system

下载图片 查看所有图片

4 实验与分析

实验所采用的被测光学元件样品为标准疵病检测板(Target ISO 14997 Scratch/Dig Standard-DA074)。在相同光照条件下采集样品在同一视场内的疵病图像,选定区域如图3所示。为降低背景噪声,检测图像会减去入射光源强度为零时的CCD图像。OTSU^[17]常被用于光学元件表面疵病检测。为满足大视场下的光学元件表面疵病检测需求,实验中采用预分块优化后的OTSU进行疵病点检测。为便于结果展示,暗场图像均经过反色处理。

图 3. 同一视场内选定区域的疵病图

Fig. 3. Defect image of selected area in the same field of view

下载图片 查看所有图片

4.1 单光谱合成图像

4.1.1 疵病检出数量

将滤波矩阵F的三个波长设置为相同值,可得到400~700 nm的光谱灰度图像。不同波长下单光谱图像的疵病数量检测结果如图4所示。需要说明的是在对白光图像(彩色图像)进行检测时,需会先将其转换为灰度图像再进行检测。

图 4. 同一区域内不同波长的单光谱图像的疵病数量

Fig. 4. Number of defects of single spectral image in the same area at different wavelengths

下载图片 查看所有图片

如图4所示,采用传统白光图像检测得到的疵病数量为7个,在400~700 nm波长范围内单光谱合成图像的疵病检出数量最少为2个,最多为20个(增加了1.85倍)。当波长在405~545 nm的范围内时,疵病检出数量均超过原始图像疵病检出数量,并且在510~540 nm波段,疵病检出数量相对较多,为18~20个。当波长在550~700 nm的范围内时,随着波长的增加,疵病检出数量逐渐减小并最终稳定为2个。疵病检测结果与课题组前期所采用的基于滤波片方法的光学表面疵病检测结果^[14]一致,表明本文所提出的方法具有有效性。

在检测过程中,对所有图像均进行了去噪处理。不同的去噪强度,其检测结果也不相同。噪声强度为55表示光源强度为零,即图像的背景光噪声最大。作为对比,保持其他实验条件不变,当噪声强度为50和70时分别进行疵病数量的检测,实验结果如图5所示。

图 5. 同一区域内不同波长、不同去噪强度下的单光谱图像的疵病数量

Fig. 5. Number of defects of single spectral image in the same area under different wavelengths and de-noising intensities

下载图片 查看所有图片

由图5可知,当背景中有噪点存在时,疵病检出数量会受去噪强度的影响。在400~545 nm范围内,去噪强度越低,疵病检出数量越多,并在500~545 nm波段,疵病检出数量有最大值。在550~700 nm范围内,疵病检出数量几乎不受去噪强度的影响。

4.1.2 疵病面积

选择原白光图像中大小各异的疵病,计算其在不同波长图像中的疵病像素面积。如图6所示,选定白光图像中的疵病1,2,3,其疵病像素数分别为24,18,1。

图 6. 测量图像中选定的疵病1,2,3

Fig. 6. Selected defects 1, 2, and 3 in measurement image

下载图片 查看所有图片

如图7所示,在415~540 nm波段内,选定疵病的像素数均大于白光图像中疵病的像素数,并且在455~500 nm波段内疵病的像素数有最大值。疵病1,2,3的像素面积最大值时对应的波长并不重合,三个选定疵病的像素面积分别在470 nm、480~485 nm和465~470 nm达到峰值,并且相对原图像疵病像素面积分别增加14(0.6倍)、7(0.4倍)和6(6.0倍)个像素。对于不同尺度的疵病,其像素面积最大值的波段并不相同,并且尺度越大的疵病在峰值波长合成图像中的像素面积越大。在540~700 nm波段内,选定疵病的像素面积均小于原白光图像疵病的像素面积,疵病3的检出像素面积减小为0,即已无法识别与检测。

图 7. 不同波长的单光谱图像中疵病1,2,3的像素面积

Fig. 7. Pixel areas of defects 1, 2, and 3 in single spectral image at different wavelengths

下载图片 查看所有图片

4.1.3 疵病位置

由图8可知,白光图像的缺陷检出数量为7个,波长为440,500,505 nm的单波长合成图像的缺陷检出数量均为16个。小尺寸的疵病检出位置并未完全重合,疵病1在波长为440 nm与500 nm合成图像中出现,疵病2在波长为500 nm和505 nm合成图像中出现,疵病3在波长为440 nm,500 nm和505 nm合成图像中出现,其中疵病1,2,3在白光图像中均未被检出。疵病1,2,3在被检出时的像素数均在2~4之间,并且只能被特定波段检测到。针对小尺寸的疵病,其材料、疵病的特性不同使得疵病在图像中的RGB分量不同,利用不同的单波长图像可以凸显这些小尺寸的疵病,而这些疵病在白光图像中不易被检测出来。大尺寸的疵病在大多数单光谱图像和白光图像中均能被检出。

图 8. 不同波长的单光谱图像疵病检测结果。(a)原始图像;(b) λ=440 nm;(c) λ=500 nm;(d) λ=505 nm

Fig. 8. Defect detection results of single spectral image at different wavelengths.(a) Original image; (b) λ=440 nm; (c) λ=500 nm; (d) λ=505 nm

下载图片 查看所有图片

4.2 多光谱合成图像

4.2.1 疵病检出数量

设置滤波矩阵F的三个波长并进行多光谱合成,可得到多光谱彩色合成图像。每个波长有61种选择,故多光谱彩色合成图像有61³种不同的组合。对每种波长组合下的多光谱合成图像进行疵病数量检测,统计得到疵病的检出数量。

如图9所示,对选定疵病的检出数量立体图像的r分量进行切片,选取r分量波长分别为475,500,565,650 nm,其中x、y轴分别为g、b分量选取波长,z轴为疵病检出数量。在白光图像中,疵病的检出数量为7,在图9中用z=7的平面表示。在不同r分量的合成图像中,疵病检测结果的峰值数量和位置不同。当选取波长组合中r分量为445~570 nm、g分量为500~545 nm、b分量为415~575 nm或者r分量为415~520 nm、g分量为420~500 nm、b分量为400~540 nm时,合成图像的疵病检出数量将显著优于白光图像,其中最多疵病检出数量为19。当r分量选定时,若g分量选定波长大于595 nm,则多光谱合成图像的疵病检测数量均下降至2~3个。由光谱估计原理知,影响检测结果最主要的因素是疵病缺陷的光谱反射率,不同尺寸、不同特性的疵病缺陷在不同波长情况下的光谱反射率不同。实验结果也表明,选取合适的波长可以检测出更多的白光条件下无法检出的疵病。

图 9. 不同波长组合的多光谱合成图像疵病数量。(a) λ=475 nm;(b) λ=500 nm;(c) λ=565 nm;(d) λ=650 nm

Fig. 9. Number of defects of multispectral images with different wavelength combinations. (a) λ=475 nm; (b) λ=500 nm; (c) λ=565 nm; (d) λ=650 nm

下载图片 查看所有图片

4.2.2 疵病面积

选择白光图像中大小各异的疵病,计算其在不同波长组合的多光谱合成图像中所占的像素面积。如图6所示,选定原图像中的疵病1,2,3,其像素面积分别为24,18,1个像素。

如图10所示,对选定疵病的像素面积立体图像r分量进行切片,选取r分量波长分别为475,500,565,650 nm,其中x、y轴分别为g、b分量选取波长,z轴为疵病的像素面积。图10中的上、中和下曲面分别对应疵病1,2,3的像素面积,对应的最大像素面积分别增至38,25,6个像素。当r或g分量的选定波长在405~550 nm之间时,三个疵病检出像素面积均维持在原图疵病检出面积之上,当r或g分量的选定波长增大到565 nm时,三个疵病检出像素面积均减小至原图疵病检出像素面积之下。

图 10. 不同波长组合的多光谱合成图像疵病1、2和3的像素面积。(a) λ=475 nm;(b) λ=500 nm;(c) λ=565 nm;(d) λ=650 nm

Fig. 10. Pixel areas of defects 1, 2, and 3 of multispectral images with different wavelength combinations.(a) λ=475 nm; (b) λ=500 nm; (c) λ=565 nm; (d) λ=650 nm

下载图片 查看所有图片

4.2.3 疵病位置

选定图11(a)中的小尺寸的疵病1,2,3,采用不同波长组合的多光谱合成图像进行疵病位置检测。

图 11. 不同波长组合的多光谱合成图像中识别小尺寸的疵病1、2和3。(a)疵病选取;(b)疵病1、2识别波长分布;(c)疵病1、3识别波长分布;(d)疵病2、3识别波长分布

Fig. 11. Defects 1, 2, and 3 used for small size recognition in multispectral images with different wavelength combinations. (a) Selected defects; (b) detected wavelengths of defects 1 and 2; (c) detected wavelengths of defects 1 and 3; (d) detected wavelengths of defects 2 and 3

下载图片 查看所有图片

如图11(b)~(d)所示,红色区域为同时检测出两个疵病的波长组合,绿色区域和蓝色区域为仅识别出其中一个疵病的波长组合。图11(b)能同时检测出疵病1和2的波长组合范围较小,图11(c)和(d)能同时检测出疵病1和3、疵病2和3的区域很大。疵病2的检出区域有两个,疵病1和3的检出区域只有一个,其中疵病1和3的检出区域与疵病2的检出区域有部分重合。由此可知,小尺寸的疵病对识别波长具有选择性,合适的波长组合能够识别更多小尺寸的疵病。相对于单光谱合成图像,多光谱合成图像采用不同合成波长进行组合,可以提升对不同波长具有选择性的小尺寸的疵病的检测能力。

5 结论

提出了一种基于光谱估计与多光谱技术的光学元件表面疵病检测方法。该方法利用光谱估计提取不同波长的单光谱图像,采用多光谱技术合成不同波长组合的多光谱图像,并分别利用单光谱图像和多光谱图像对光学元件的疵病进行检测。基于该方法搭建了一套光学元件表面疵病检测装置,获得了在白光照明下光学元件表面疵病检测的实验结果。对单光谱图像和多光谱合成图像进行分析,结果表明相比于简单的白光图像,选取合适波长的合成图像能检测出更多小尺寸疵病,并且不同波长对同一尺寸疵病的筛选性也不同。在单光谱合成图像中,选定单波长在405~545 nm范围内的图像能检测出更多不同位置的小尺寸疵病。在多光谱合成图像中,当RGB分量选定波长为r(445~570 nm)、g(500~545 nm)、b(415~575 nm)和r(415~520 nm)、g(420~500 nm)、b(400~540 nm)时,该方法能检测出更多不同位置、不同特性的疵病,相比于传统的检测方法,该方法的疵病检出数量提升了1.85倍,疵病检出面积最多增加了6.0倍。相比于传统暗场显微成像检测方法,提取不同波长组合的多光谱合成图像的方法,可以明显提高对光学元件疵病的检测能力。此外,该方法不再受到物理分光的条件限制,不仅能够明显提高疵病检测效率,还能显著降低疵病检测的成本。