激光与光电子学进展, 2019, 56 (1): 011006, 网络出版: 2019-08-01   

加速分割特征优化的图像配准方法 下载: 962次

Image Registration Method Based on Accelerated Segmentation Feature Optimization
作者单位
云南师范大学旅游与地理科学学院, 云南 昆明 650500
摘要
提出一种加速分割特征算法与快速视网膜关键点描述子(FREAK)结合的图像配准算法。首先对图像建立尺度空间,并在此基础上利用加速分割特征优化算法检测图像特征点,结合Harris算法对特征点进行过滤,保留强角点用于图像配准;其次结合 FREAK对检测的特征点进行描述,计算其特征向量,采用汉明距离替代传统的欧氏距离进行图像匹配,并采用随机采样一致性方法精炼匹配点来避免由于噪声和物体位置移动等原因产生的误匹配。从配准精度和配准时间两个方面,对本文方法与尺度不变特征变换算法、二进制稳健独立基本特征算法及原始FREAK算法进行对比实验,结果表明,本文方法具有配准速度快、准确性高、稳定性好等特点。
Abstract
Image registration combining accelerated segmentation feature algorithm and fast retina keypoint (FREAK) algorithm is proposed. Firstly, the scale space is constructed for the image, and the image feature points are detected by the accelerated segmentation feature optimization algorithm. Keypoints are filtered by Harris algorithm and some strong corners retained are reserved for image registration. Secondly, the strong corners are described by FREAK and eigenvectors are calculated. Keypoints are matched by Hamming distance instead of traditional Euclidean distance. Matches are filtered with random sample consensus algorithm to avoid mismatch due to noise and moving objects. From the two aspects of registration accuracy and registration time, the comparative experiments between scale-invariant feature transform, binary robust independent elementary features, original FREAK and the proposed algorithm are carried out. The experimental results show that the proposed algorithm has the characteristics of fast registration speed, high accuracy and well-stability.

1 引言

图像配准是指对不同传感器、视角、时间、光照条件情况下获取的两张或多张图像确定图像间的位置关系的过程,其目的是将待配准图像通过空间几何变换使其与参考图像对齐[1]。遥感影像配准是影像信息提取与处理中最基本的问题之一,是实现同一场景多幅遥感影像分析和处理的基础,是遥感影像融合、遥感影像拼接、三维重建、变化检测等应用中的关键步骤之一。当时间、视角、光照等发生变化时,同一区域拍摄的图像会存在不同程度的几何形变,为了将一组连续拍摄的遥感图像拼接起来,首先需要对重叠区域的图像进行配准[2]

图像配准方法一般分为基于灰度的配准方法、基于特征的配准方法和基于变换域的配准方法[3]。基于特征的配准方法由于对图像的旋转、缩放、尺度变化等有较好的稳健性,应用最为广泛[4]。基于特征的配准算法主要有4个步骤:特征点检测、特征匹配、图像空间变换及图像重采样。其中,特征点检测与匹配是图像配准的核心步骤,图像匹配的好坏及其分布直接影响配准精度,建立稳定可靠的特征点匹配对应关系决定了配准精度及效率。目前基于特征的配准算法主要集中于尺度不变特征变换(SIFT)算法[5]、主成分分析(PCA)-SIFT算法[6]、加速稳健特征(SURF)算法[7]和以SIFT为基础进行改进的系列算法等,该类算法的配准精度高,对视角、时间、光照等变换具有较好的适应性,但存在特征描述符维数高、运算量大、计算时间长等缺点。由于遥感图像拼接过程需要处理的图像较多,为了提高图像间配准效率,一些学者提出了利用二进制字符串作为描述符的算法,如二进制稳健独立基本特征(BRIEF)算法[8]、快速特征点提取和描述的算法(ORB)[9]、二进制稳健不变的可扩展关键点(BRISK)[10]等算法。基于二进制描述符的算法较以SIFT系列算法在匹配效率上得到了很好的提升,计算效率是SIFT算法的两个数量级,但此类算法的稳健性低于以SIFT算法为基础的算法,误匹配率较高,且BRIEF、ORB算法采用随机点对选取方式,很大程度上影响算法的匹配精度。

为解决二进制描述符点对选取问题,本文引入视网膜特征点(FREAK)描述算法[11],利用空间自相关性理论,有效解决匹配特征点描述符随机点对选取带来的匹配精度低等问题。在点对采样过程中,基于空间自相关性对点对进行采样,即在中心区域采样点的密度最高,而离中心区域较远的区域,采样点的密度呈指数下降,且各采样点间存在一定的重叠有助于提高描述精度。兼顾配准算法的精度及效率两个方面,本文基于加速分割特征(FAST)检测算法,并通过构建尺度空间来实现尺度不变特征点检测方法;结合FREAK描述算法对特征点进行描述,通过计算其汉明距离来得到两幅图像的匹配点对,再结合随机一致性采样方法和最小二乘法计算图像间的变换关系,最后得到配准后的图像。

2 图像配准

2.1 特征点检测

FAST特征点检测算法[12],由于其高效的计算性能,目前已广泛应用于特征检测、图像配准、目标识别等领域。

FAST特征点检测算法通过检测候选像素点p邻域内3×3 Bresenham圆上16个像素点,如图1所示。对于检测圆环上候选像素点p邻域范围内的16个像素点,每个像素点xi(i=1,2,…,16)的图像灰度值与候选像素点p的灰度值进行对比,存在3种不同的状态(记作Spx),即更暗、相似、更亮。

Spx=d,IpxIp-t(darker)s,Ip-t<IpxIp+t(similar)b,Ip+t<Ipx(brighter),(1)

式中:Ip为候选像素点p的灰度值;Ipx为圆周上任意一像素点x相对于候选像素点p的灰度值;t为设定的阈值。

如果圆周上的16个像素点中,存在连续多个像素点的灰度值均满足Spx=dSpx=b,则可以判断候选像素点p为特征点,其中连续的像素点个数为8、9、10、11、12。通过FAST算法证明,连续像素点个数为9个时检测出的特征点可靠且稳定。

图 1. Bresenham圆角点探测模板示意图

Fig. 1. Template for corner detection based on Bresenham circle

下载图片 查看所有图片

从FAST整个检测算法可以看出,算法存在以下缺陷。

1) 由于FAST特征点检测算法没有考虑到尺度变化的情况,因此在图像尺度变化的情况下,特征点的检测精度不理想。

2) FAST检测算法对斜边缘的响应较强,容易检测过多的伪角点,如图2所示。图2(a)中显示了一条边缘线,图2(b)中显示斜边缘点p的判定圆环,图2(c)中显示斜边缘点p在使用FAST算法检测时,存在连续9个像素点[图2(c)中黄色像素]满足FAST角点响应函数的判定条件,将像素点p误检测为角点。

图 2. 斜边缘伪角点检测。(a)边缘线;(b)点p的判定圆环;(c)点p的判定结果

Fig. 2. Skewed edge pseudo corner. (a) Edge; (b) decision circle of p; (c) detection result of p

下载图片 查看所有图片

基于此,为克服FAST在检测过程中的缺陷,本文结合Harris算子提出尺度不变性FAST检测算法。

2.1.1 基于Harris算子的特征点过滤

利用FAST算子对特征点进行提取后,会存在较强的边缘响应,而Harris算子[13]对边缘响应的处理较好,能够对提取后的特征点进行排序,并利用Harris算子对特征点进行过滤。其处理步骤如下:1)选用较小的阈值t,采用FAST算法对图像进行特征点提取,将特征点的数量记为N;2)对提取的N个特征点计算Harris角点响应值R;3)对角点响应值R按由大到小排列,根据需要选择响应值较大的前M个特征点作为待匹配点。

2.1.2 基于FAST算子的尺度空间构建

FAST算子由于没有构建尺度空间,因此在尺度变化明显时,特征点的提取结果不稳定,重复率较低。为使FAST能够在尺度变化时也能够稳定地检测到特征点,通过构建图像高斯金字塔,并在此基础上采用FAST算子提取特征点。一般图像金字塔的构建方式是对原始图像通过降采样得到一组从上至下、由大到小的图像形成的塔状模型。每次图像降采样所得到的新图像为金字塔的一层(每层一张图像),每个金字塔共n层,如图3所示。金字塔的层数由图像的原始大小和塔顶图像的大小共同决定,其计算公式为

n=log2{min(M,N)}-t,t[0,log2{min(M,N)}],(2)

式中(M,N)为原始图像大小,t为塔顶图像的最小维数的对数值。

先对图像进行金字塔构建,再对各层的图像分别进行特征点检测,最后在尺度空间中对特征点进行非极大值抑制的判定来选择极大值点。在离散空间中,检测到的极大值点不一定是真正的极大值点,因此,为提高特征点检测的稳定性,在连续的尺度空间中需要对探测的极大值点进行曲线拟合来达到子像素级精度。

图 3. 图像金字塔

Fig. 3. Image pyramid

下载图片 查看所有图片

2.2 特征描述

对特征点进行提取后,需要对特征点进行描述。FREAK描述符是一种采用二进制比特串来对特征点进行描述的算子,如图4所示。

图 4. FREAK描述符采样点

Fig. 4. Sampling points of FREAK descriptor

下载图片 查看所有图片

FREAK描述符特征点的具体采样过程如下。

1) 首先设定采样点的层数K,并根据不同的层设定特征点的尺度σ,每一层的同心圆的半径为M1σ,M2σ,…,MKσ

2) 每个采样点在采样前为避免图像噪声,首先进行高斯平滑,高斯核的大小与采样点的同心圆的半径成正比。

3) 相邻采样点的范围(以采样点为中心,高斯核为半径的圆)具有重叠区域。冗余采样会使检测精度更高。

当采样点进行采样后,需要根据采样点对来对特征点进行描述。描述方法如下:

T(Pa)=1,I(Par1)-I(Par2)0,otherwise,(3)

式中:Pa为感受域对;N为特征向量的维数;I( Pria)为采样点经过高斯平滑后的亮度值。在S×S大小的图像块p中选取N个(x,y)位置对可唯一地定义二进制特征度量,FREAK描述函数定义为

D1=x0x1x2x512,D2=y0y1y2y512(4)

两个二进制比特串的相似性通过计算汉明距离的大小来判断,而汉明距离通过对两个二进制比特串进行异或运算得到,用S(D1,D2)表示:

S(D1,D2)=i=0512xiyi,(5)

式中⊗为异或运算符,S(D1,D2)记录异或运算中“1”的个数,即汉明距离,值越小代表相似程度越高,反之相似程度越低。本文使用“512”位二进制比特串,则“512”为两个二进制比特串之间的最大汉明距离,“0”为两个二进制比特串之间的最小汉明距离。

FREAK算法对特征点间的最小汉明距离进行一一计算来获得图像间的匹配点对,这种方式导致匹配速度慢且误匹配严重,最终影响图像间的配准精度与效率。为此,基于双向匹配采用快速最近邻域搜索(FLANN)方法[14]对匹配点对进行搜索从而提高效率,并通过随机抽样一致性(RANSAC)[15]方法剔除误匹配点对。具体步骤如下。

1) 利用FLANN算法搜索特征点对间的最近邻点对与次近邻点对。原始图像中特征点k的最近邻点与次近邻点分别是待配准图像中的特征点mn,则特征点mn与特征点k的汉明距离分别记为DkmDkn

2) 通过计算匹配比率,得到初始匹配集。计算匹配比率R=Dkm/Dkn,如果R小于设定的阈值TR,则特征点k与特征点m是一对同名特征点。

3) 为了更进一步精炼匹配对,采用RANSAC方法从初始匹配集中进行精筛选,获取最佳匹配点对。

4) 图像配准参数计算。利用单应性矩阵计算图像间的配准参数。

本文方法的整体思路如图5所示。

图 5. 基于FAST和FREAK的图像配准框图

Fig. 5. Image registration frame diagram of FAST combined with FREAK

下载图片 查看所有图片

3 实验与分析

采用改进的FAST算法并结合FREAK描述子对两幅待配准图像进行特征点检测和特征匹配,并基于单应矩阵变换计算图像间的配准参数。为了验证本文算法的有效性,利用卫星遥感图像进行图像配准性能评价。实验在VS2010和OpenCV2.4.8平台环境下予以实现,并将本文算法与SIFT算法、二进制BRIEF算法和原始FREAK算法进行对比。

3.1 配准精度分析

平面的单应性是指一个平面到另一平面的投影映射[16],因此为了表达图像间的投影变换关系,通常需要计算图像间的单应性矩阵。如果能找到稳定的4对匹配点,则可以计算单应性矩阵。但两幅图像在匹配过程中,总存在误匹配点,因此在计算单应性矩阵的过程中,通常需要找出多于4对的匹配点,因此采用RANSAC方法来计算。为验证SIFT算法、BRIEF算法、原始FREAK算法和本文算法单应矩阵计算的准确性,采用重投影误差[17]的方式进行测试和对比。对单应矩阵计算两幅图像的重投影误差方法如下,假设两幅图像中的对应匹配点满足:

x'i=H·xi,(6)

式中H为平面单应变换矩阵,xix'i为图像中的对应匹配点。重投影误差的形式如下:

ε=id2(xi,x^i)+d2(x'i,x^'i),(7)

式中 x^'i= H^· x^i, x^ix的估计值, H^H的估计值。

重投影误差是指投影点的理论值与图像上的测量点之间的误差,测量点并非绝对精确,因此,可以根据重投影误差的大小来评判图像配准的精度。选用具有旋转变换的1000×1000的一对图像,根据重投影误差计算方法计算SIFT、BRIEF、原始FREAK和本文算法的所有匹配点对间的重投影误差。由于每个算法得到的匹配点对不同,匹配点对数量也有差异,因此采用平均重投影误差来比较4种方法的误差结果,如表1所示。

本文方法的平均重投影误差最小,误差范围在1 pixel内,由于BRIEF和FREAK算法在特征点检测阶段分别只用了原始的FAST算法,存在大量的误匹配点,且在尺度变换与旋转变换的情况下,特征点的误差检测较大,因此,会导致配准过程中的重投影误差较大。本文算法的配准精度与SIFT算法的配准精度相当,但是效率优于SIFT算法。

表 1. 单应矩阵重投影误差

Table 1. Reprojection error of homography pixel

Reprojection errorRegistration method
SIFT algorithmBRIEF algorithmFREAK algorithmProposed algorithm
Number of originalimage keypoints10578531650482696
Number of registeredimage keypoints11985467247492392
Matching pairs2189572667144
Inner points1507437649117
Total projection error1592989.8051488.871116.729
Mean projection error1.05642.26502.29410.9976

查看所有表

3.2 配准时间对比

表2为配准时间的对比,可以看出,本文算法的配准效率最高,根据每个阶段的时间对比发现,本文算法在效率上主要是在特征点提取阶段比SIFT、BRIEF和FREAK算法慢,这是因为本文算法构建了图像金字塔,并采用Harris算法对边缘伪角点进行抑制。但在后续的特征匹配搜索过程中,本文算法使用FLANN搜索算法加速了匹配的搜索过程,效率略优于BRIEF和原始FREAK算法,但与SIFT算法相比,效率上提升较大。

表 2. 配准各阶段的运行时间

Table 2. Running time of each phase of registrationms

RegistrationalgorithmKeypointextractionFeaturedescriptionFeaturematchingImageregistrationWholeprocess
SIFT algorithm0.3506141.0876532.04580.5089463.993013
BRIEF algorithm0.0320610.8701681.05380.4697652.49071
FREAK algorithm0.0314930.3531481.00490.4229042.07261
Proposed algorithm0.4688600.2071200.48780.2870491.90601

查看所有表

3.3 实验结果

为了验证本文算法的适应范围,实验选取4组航拍图像,分别具有光照变换、尺度变换、旋转变换以及视角变换。图6~9为不同变换下的实验结果。选用部分航拍图像,使用本文的方法对图像进行全景拼接,拼接结果如图10所示。

图 6. 旋转变换

Fig. 6. Rotation transformation

下载图片 查看所有图片

图 7. 尺度变换

Fig. 7. Scale transformation

下载图片 查看所有图片

图 8. 光照变换

Fig. 8. Light transformation

下载图片 查看所有图片

图 9. 视角变换

Fig. 9. View transformation

下载图片 查看所有图片

图 10. 图像拼接结果

Fig. 10. Image mosaic results

下载图片 查看所有图片

4 结论

提出了一种改进的FAST算法并结合FREAK描述子的快速图像配准方法。方法解决了FAST算法中存在的边缘伪角点及尺度问题,采用FREAK特征描述符算子对特征点进行描述,利用FLANN算法实现二进制特征匹配的快速搜索,并基于单应矩阵变换计算图像间的配准参数,最后将本文方法应用于航拍图像进行全景拼接。实验分析表明,本文方法在配准速度、准确性、稳定性等方面具有一定的优势。但算法仍然有一定的局限性,比如在视角变换与尺度变换情况下,提取的特征点匹配对的数量相对较少,因此,算法在保证运算效率和提取精度的基础上,还需要进一步完善以适应于各种不同场景的变换。

参考文献

[1] 王灿进, 孙涛, 王锐, 等. 基于彩色二进制局部不变特征的图像配准[J]. 中国激光, 2015, 42(1): 0109001.

    Wang C J, Sun T, Wang R, et al. Color image registration based on colored binary local invariant descriptor[J]. Chinese Journal of Lasers, 2015, 42(1): 0109001.

[2] 杨飒, 夏明华, 郑志硕. 基于多项式确定性矩阵的SIFT医学图像配准算法[J]. 激光与光电子学进展, 2016, 53(8): 081002.

    Yang S, Xia M H, Zheng Z S. Medical image registration algorithm based on polynomial deterministic matrix and SIFT transform[J]. Laser & Optoelectronics Progress, 2016, 53(8): 081002.

[3] 杨飒, 杨春玲. 基于压缩感知与尺度不变特征变换的图像配准算法[J]. 光学学报, 2014, 34(11): 1110001.

    Yang S, Yang C L. Image registration algorithm based on sparse random projection and scale-invariant feature transform[J]. Acta Optica Sinica, 2014, 34(11): 1110001.

[4] 董强, 刘晶红, 王超, 等. 基于改进BRISK的图像拼接算法[J]. 电子与信息学报, 2017, 39(2): 444-450.

    Dong Q, Liu J H, Wang C, et al. Image mosaic algorithm based on improved BRISK[J]. Journal of Electronics & Information Technology, 2017, 39(2): 444-450.

[5] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[6] KeY, SukthankarR. PCA-SIFT: a more distinctive representation for local image descriptors[C]∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004.

[7] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features(SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[8] CalonderM, LepetitV, StrechaC, et al. BRIEF: binary robust independent elementary features[C]∥Proceedings of the 11 th European Conference on Computer Vision , 2010: 778- 792.

[9] RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]∥Proceedings of 2011 International Conference on Computer Vision, 2011: 2564- 2571.

[10] LeuteneggerS, ChliM, Siegwart RY. BRISK: binary robust invariant scalable keypoints[C]∥Proceedings of 2011 International Conference on Computer Vision, 2011: 2548- 2555.

[11] AlahiA, OrtizR, VandergheynstP. FREAK: fast retina keypoint[C]∥Proceedings of 2012 IEEE Conference on Computer Vision and Pattern Recognition, 2012: 510- 517.

[12] RostenE, DrummondT. Machine learning for high-speed corner detection[C]∥Proceedings of 9 th European Conference on Computer Vision , 2006: 430- 443.

[13] Harris CG, Stephens M J. A combined corner and edge detector[C]∥Proceedings of the 4 th Alvey Vision Conference , 1998, 15∶50.

[14] Sattler T, Leibe B, Kobbelt L. Efficient & effective prioritized matching for large-scale image-based localization[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2017, 39(9): 1744-1756.

[15] Hossein-Nejad Z, Nasri M. An adaptive image registration method based on SIFT features and RANSAC transform[J]. Computers & Electrical Engineering, 2017, 62: 524-537.

[16] 邹朋朋, 张滋黎, 王平, 等. 基于共线向量与平面单应性的双目相机标定方法[J]. 光学学报, 2017, 37(11): 1115006.

    Zou P P, Zhang Z L, Wang P, et al. Binocular camera calibration based on collinear vector and plane homography[J]. Acta Optica Sinica, 2017, 37(11): 1115006.

[17] Nguyen T, Chen S W, Shivakumar S S, et al. Unsupervised deep homography: a fast and robust homography estimation model[J]. IEEE Robotics and Automation Letters, 2018, 3(3): 2346-2353.

李佳, 段平, 姚永祥, 程峰. 加速分割特征优化的图像配准方法[J]. 激光与光电子学进展, 2019, 56(1): 011006. Jia Li, Ping Duan, Yongxiang Yao, Feng Cheng. Image Registration Method Based on Accelerated Segmentation Feature Optimization[J]. Laser & Optoelectronics Progress, 2019, 56(1): 011006.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!