基于航向约束的无人机图像匹配算法（通讯）

                       陈  坚¹，  仲思东^1，2，  徐安丽¹

    （1．武汉大学电子信息学院，武汉430072；2．测绘遥感信息工程国家重点实验室，武汉430079）

摘要：针对无人机航拍影像的高分辨率特点，用简化的尺度不变特征变换( SIFT)算法提取待匹配图像中的特征点并粗匹配。根据航拍图像的特殊获取方式，提出一种基于航向约束的特征点提纯算法，并用实验进行验证。结果表明，此算法能有效提纯匹配点，提纯率达到25%，与随机抽样一致(RANSAC)算法比较，在保持提纯率的前提下，效率提高了将近一倍。

关键词：无人机图像；特征匹配；SIFT；航向约束

中图分类号：TP391. 41  文章编号：1671 - 637X( 2016) 05 - 0026 - 04

0  引言

    随着民用商用无人机的普及，通过无人机进行航拍获取的影像开始用于包括检测预警、目标跟踪、交警执法、数字地图生成、体育赛事直播等在内的各个领域。然而，由于受所搭载的相机视场所限，所拍摄的单幅图像所覆盖的范围太小而满足不了使用的需求，于是需要借助图像拼接技术。传统的图像拼接技术通常是将几幅低分辨率窄视场的图像拼接为高分辨率大视场图像，或是对遥感影像的拼接。而无人机在(30～300 m)超低空领域获取的图像，与一般图像相比有相幅较大、畸变较大、航向窄、纹理丰富但分布极不均匀等几个特点，且有较大的畸变。针对这样的图像，首先须对无人机图像进行几何校正。图像匹配是图像拼接环节最重要的一步，尺寸不变特征变换( SIFT)算法对于旋转和尺度具有不变性，并且对噪声、

视角变化和光照变化具有良好的鲁棒性，相对于基于灰度信息和基于变换域，其基于尺度不变性的特点要更适用于对无人机图像的匹配。然而，SIFT算法在处理高分辨率图像时，需要耗费很长的时间，并且会产生大量的特征点，使整个匹配工作效率降低。提取尺度不变的Hams角点，用Forsnter算子对角点精定位改进了SIFT算法中的特征点检测方法，减少了特征点数量，在基本保持配准精度的同时，大大减少了标准SIFT算法所需的配准时间；利用粗匹配加分块匹配的匹配策略，在提高效率的同时，保持了精度不变；在分析SIFT特征向量生成过程的基础上，以准欧式距离代替欧氏距离作为特征描述符之间的相似性度量来提高SIFT特征匹配效率。而本文针对航拍图像的特点，先利用SIFT算法检测特征点，针对特征点过多，造成提纯和计算变换矩阵效率过低的问题，考虑到航拍图像的获取通常由无人机在固定航向上直线飞行，因此，航向的固定会对相邻两幅待匹配图像中的特征点产生一定的几何约束，利用这一约束，去除误匹配，提高匹配精度和效率，最后才可将配准的图像进行融合。

1  SIFT特征匹配

    SIFT算法是一种基于尺度空间的，且对图像缩放、旋转、仿射变换保持不变性的特征匹配算法。待匹配图像在经过畸变矫正和预处理的过程后，用SIFT算法对其进行配准。配准过程包括特征点提取和特征点匹配两步。

1.1  特征点提取

    将高斯核与图像进行卷积，得到多尺度图像，其中高斯核为

值的大小直接影响高斯核对图像的平滑程度，值越小，平滑的越少。设定某k值，使下一阶的尺度因子为前一阶的k倍，如此连续的平滑处理后可得到高斯金字塔，将得到的每一阶相邻尺度的高斯图像相减，得到高斯差分尺度空间表示，即DOG图像，图1所示为高斯金字塔与高斯差分金字塔。

    在DOG尺度空间中，除去最底层和最顶层之外的每层的每个图像需要跟其同尺度的周围相邻8个像素以及其上下两相邻尺度的9x2个相邻像素共26个像素进行比较，以确保在图像空间和尺度空间都能检测到局部极值点。在去除边缘效应后，根据检测到的关键点局部图像结构为特征点方向赋值，计算特征点的主方向，即

算后，使用直方图统计邻域内像素对应的梯度方向和幅值。SIFT算法将直方图峰值定义为关键点处邻域内图像梯度的主方向，当存在相当于主峰值80%能量的峰值时，定其为辅方向。为提高效率，本文采取简化的主方向定义方法，即只取主方向而忽略辅方向。

1.2特征点匹配

    在完成特征点提取后，提取的特征点将具备位置、尺度和方向3个信息，采用SIFT描述子对其进行描述。将坐标轴按特征点的主方向旋转一定角度，以特征点为中心取16×16像素窗口，4x4区域为一个种子点，每个种子点以式(3)、式(4)计算梯度，然后将每个种子点的8个方向梯度按规律排序，构成128维向量，至此SJFT描述子生成。两幅待匹配的图像分别得到特征向量后，以欧氏距离作为判定标准，欧氏距离为

    为解决高维度搜索问题，SIFT算法采用最优节点优先( Best Bin First，BBF)算法对传统的K-D树算法做逼近，考虑那些在最近点距离0.8倍以内的最邻近点，实现目标特征向量的快速粗匹配。

1.3匹配点筛选

    粗匹配完成后，相邻两幅航拍待拼接图像间会有大量的匹配点，其中包含了许多的无匹配点，SIFT算法通常采用随机抽样一致( RANSAC)算法消除无匹配并计算变换矩阵。RANSAC算法的原理是利用4组匹配对作为样本估计变换矩阵模型，再对总体进行检验，获得能得到最多内点数的模型，然后通过该模型阈值内的内点计算出最后的模型。但由于处理对象是高分辨率航拍图像，因此产生的匹配点数量大，且存在许多误匹配，这样便会对RANSAC算法的效率造成极大的影响，尤其是估计模型部分。为此，本文利用航拍图像的获取特点，提出一种基于航向约束的匹配点精选算法。

    在特征点提取和匹配阶段，SIFT算法以图像的尺度和梯度作为基本的描述特征，而处于同一航向的待匹配航拍图像不仅是经上述尺度和梯度描述可产生匹配点这样简单的关系，紧密联系它们的还有两幅图像的几何关系，除了一些抖动和微小的偏转，还有相邻图像中的不重叠部分，可以认为其余的部分在相邻两图像中存在一个近似的平移关系，而这个平移关系即无人机在航向上的运动。这样，在待匹配的航拍图像的所有特征点都应该受到这个几何关系的约束，只要解算出这个关系，便可以去除一部分误匹配点，而这个关系的解算也可以具象为对无人机航向的解算。本文利用这个约束筛选匹配点，并设定一定的阈值防止将正确的匹配点误除。

    图像A和图像B为待匹配航拍图像，用SIFT特征提取与匹配算法获取图像A和图像B中的粗匹配点，

    在得到精选后的匹配点后求解变换矩阵，最后利用加权平均算法处理拼接线将两幅图像融合。

2  实验结果与分析

    为验证所述算法在针对航拍图像匹配过程中去除误匹配和提高匹配效率上的效果，本文实验所用数据均为真实项目数据，采用某无人机，图像采集没备FC200，计算机硬件环境为：Inter( R)  Core( TM)i3-2100 CPU@3.10 GHz，8.00 GB RAM，64位操作系统，所用编程环境为VS2010，基于OpenCV 2.4.4。图像采集设备的内部参数已提前解算，并以该参数为获取的实验图像做去除畸变处理，实验图像为4386×2466的真实航拍图像，如图3所示。

    首先用SIFT算法对两幅图像进行特征提取，并采取初步的粗匹配，考虑到航拍图像的高分辨率，本文采取简化的SIFT算法，即在首次与高斯核卷积前不再将图像放大为原图像的两倍，并且如上文提到在选取特征点邻域内图像梯度的主方向时，只取主方向而不再考虑辅方向。得到粗匹配结果如图4所示。

    共得到864组匹配点对，为方便观察效果，将图3a、图3b上下放置，并用粉色虚线连接匹配的点对，即图4。可以很明显发现，由于航拍图像的特点，用简化之后的SIFT算法匹配图像，依然产生了大量的匹配点，其中不乏相当多的误匹配。

    在粗匹配结果下，采用本文所述航向约束的特征点筛选方法进行提纯，得到图5所示的本文算法的提纯结果。将提纯后的点对用黄色虚线连接。

    而针对非航拍的一般图像，在用SIFT算法获取匹配点后，通常采用RANSAC算法对所获匹配点提纯。因此，本文也利用RANSAC算法对所得粗匹配特征点进行提纯，以与本文算法做对比，所得提纯结果如图6所示，将提纯后的点对用红色虚线连接。

    将本文算法与RANSAC算法针对同航带的航拍图像特征匹配点提纯效果与效率做比较，对比结果如表1所示。  

由表中数据对比可以发现，RANSAC算法虽然在提纯率上略优于本文算法，但其所耗费时间将近为本文算法的两倍，在无人机航拍应用领域，获取的数据量巨大，效率显得尤为重要，因此，在效率上的优势表明在具有航向约束的高分辨率航拍图像处理上，本文算法相对于RANSAC算法更具实用性。

    得到提纯后的匹配点对之后，计算变换矩阵，并用加权平均算法将图像融合。融合后的图像如图7所示。

3结语

    本文针对无人机航拍图像受航向约束的特点，提出了一种基于简化的SIFT算法所获取匹配点对的匹配提纯算法。该算法适用于某航带上的相邻航拍图像，由无人机的航向估算匹配点的空间位置关系，并由此设定约束条件、筛选匹配点，将实验结果与RANSAC算法相比较，得出结论，在受航向约束的无人机图像匹配点提纯上，本文算法在提纯率保持相近的前提下提纯效率得到很大的提升。