图像局部不变性特征与描述

局部特征是从图像局部区域中抽取的特征,可以提供一种具有统计意义的图像内容表述;全局特征(比如颜色直方图)可以描述图像的内容,具有很好的检索性能前言图像局部不变性特征是近10年来图像处理、模式识别等领域里的一个研究热点。很长时间以来,人们一直期望机器能像人一样智能地辨识周围世界的事物,但人们这种期望似乎总是一次次的变成了失望。在20世纪的70年代末80年代初,由于计算机的发明和处理能力的提高,在全球范围内兴起了人工智能的研究热潮,但不到10年时间,就有人断言人工智能这门学科已经是日薄西山。到20世纪的90年代初,神经元网络的研究也几乎达到了狂热的程度,但又是不到10年的时间,人们终于认识到过去人工智能不能解决的问题,神经元网络同样不能解决。或许是当年冯诺伊曼发明的计算机存在严重的缺陷,或许是生物的智能和思维过程实在是太复杂。人类让机器模仿人类自己本来就是一个悖论问题,要不然,机器不就是真要统治人类了?一方面,现实的需求是那样的强烈,人们有太多的事情需要机器可以智能地去处理,而另一方面,智能研究的进展又是那样的迟缓,需求者的抱怨总是此起彼伏。21世纪初,图像局部不变性特征研究的兴起,又一次点燃了人们对智能研究的热情,虽然它没有像当年人工智能、神经元网络的倡导者们声称的那样能包打天下,但它的确实实在在地解决了我们过去没有解决的实际问题。对于图像局部不变性特征方法,核心是“不变性”三个字。人类在识别一个物体时,不管这个物体或远或近,都能对它进行正确的辨认,这就是所谓的尺度不变性同样,当这个物体发生旋转时,我们照样可以正确地辨认它,这就是所谓的旋转不变性……那么,如何让机器也与人类一样具有这种能力呢?这就是图像局部不变性特征要解决的问题。提到图像局部不变性特征,有两个人是不得不提及的,一个是 Lindeberg,另一个是Iowe。如果将局部不变性特征方法比作一个孩子,那么, Lindeberg就是父亲,Iowe就是母亲。 Lindeberg奠定了局部不变性特征方法的理论基础,播下了局部不变性特征方法的种子,而Lowe则将这颗种子孕育成为一种能具体实现的方法。由于在 Lindeberg的尺度空间理论中,各种高斯微分算子与哺乳动物的视网膜和视觉皮层的感受域剖面有着高度的相似性,所以,尺度空间理论经常与生物视觉相关联,有人也称图像局部不变性特征方法为基于生物视觉的不变性方法。本书是按照概念→理论→方法→实例思路来依次组织的。第1章介绍有关局部不变性的历史沿革和基本概念,第2章介绍有关局部不变性的尺度空间理论基础,第3章至第7章详细给出了局部不变性特征的实现方法,第8章评价了各种局部不变性方法并给出了若干应用实例。本书先由王永明拟定内容和提纲,后由王永明和王贵锦分别撰写。第3章至第6章主要由王永明撰写,第1、2章和7章主要由王贵锦撰写,第8章由两个人共同撰写。博士研究生施陈博、廖超、苗泉和刘永,参与了对本书中各种方法的计算机程序实现和部分校对工作本书是结合我们承担的具体任务,利用业余时间撰写而成的,前后历时两年,中间虽经数次反复,但各种疏漏和瑕疵仍不可避免,只当是抛砖引玉,恳请读者批评指正。王永明王贵锦目录第1章引言····.●●1.1局部特征发展历程…1.2常用术语1.3局部特征性质1.4局部特征应用…局部特征配准流程和本书的结构着●·●●非124579参考文献兽···●。●●····●●第2章图像尺度空间理论2.1金字塔多分辨率…2.2高斯尺度空间及性质●垂·●132.2.1多尺度和多分辨率12.2.2尺度空间和生物视觉.·●···4·。·.····非鲁··非·鲁··自:非●非音·●鲁垂182.3自动尺度选择…………182.3.1尺度选择思路202.3.2尺度选择准则·····。.·····。··。曾……………2124斑点(Blob)检测232.4.1-维信号斑点检测232.4.2LoG检测272.4.3DoH检测302.5边缘(Edge)检测·.··.·。····2.6角点( Corner)检测……………………372.6.1角点定位算法……392.6.2角点检测效果····●●;●音。●40参考文献42第3章点与边缘检测…453.1 Harris角点●.·●·●·●463.2尺度不变性 Harris角点…5232.1 Harris尺度不变性问题………………523.2.2.多尺度二阶矩532.3多尺度 Harris角点543.2.4多尺度Hari角点精化…63.3仿射不变性 Harris角点573.3.1初始定位: Affine Gaussian Scale-Space…¨¨…583.3.2仿射不变性角点检测614 SUSAN检测算子_·······鲁··6535边缘检测…●,e。曹曹鲁。···自曲··。●···。。垂·●693.5.1一阶微分边缘算子693.5.2二阶微分边缘算子713.5.3Cany边缘检测算子73参考文献第4章高效斑点检测方法794.1SIFT算法…………4.1.1DoG尺度空间生成794.1.2特征点搜索814.1.3点的搜索与定位∴………………………844.1.4删除边缘效应874.2SURF算法●····帝894.2.1积分图像……∴…904.2.2DoH近似914.2.3尺度空间表示…94参考文献········:··:···100第5章区域检测方法1025.1最大稳定极值区域1035.1.1 USERS基本概念与定义5.1.2 MSERs检测…1065.1.3 MSERs区域拟合…………1125.1.4 USERs区域归一化1155.2·基于边缘区域。····音·······1185.2.1曲线边缘1185.2.2直线边缘……1205.3基于密度极值区域1215.4显著性区域123●非··5.4.1区域信息熵…1235.4.2圆形显著性区域1255.4.3非对称显著性区域126参考文献127第6章图像局部特征描述1296.1SIFT特征描述子合:日1306.1.1特征点方向分配…1306.1.2特征点特征矢量生成…1336.2SURF特征描述子1356.2.1特征点方向分配1356.2.2特征点特征矢量生成1376.3其他特征描述子…………………-1426.3.1PCA-SIFT…1426.3.2 GLOH1436.33旋转图像1446.3.4微分滤波器146参考文献…第7章图像特征点匹配··鲁··3·······●··4●…………1507.1Kd-树算法1517.1.1构建算法1527.1.2最近邻查询算法1547.1.3改进Kd-树最近邻查询…1587.1.4Kd-树和Spl-树………………1607.1.5Kd-树与穷尽搜索比较1617.2匹配对提纯····..··●1627.2.1比值提纯法1627.2.2一致性提纯法163参考文献●。●·●·。鲁··垂···。··鲁4鲁非●…………………167第8章评估和应用…………1698.1斑点检测算子比较●鲁···●。;·。●…1698.1.1图像数据1698.1.2尺度缩放比较………………………1718.1.3视角变换比较Ⅶ8.1.4.光照变化比较1728.1.5图像模糊1728.2区域检测算子比较1738.2.1区域仿射不变算子的评价准则…………………1738.2.2尺度缩放+旋转…174爱试浮8.2.3视角变换………………1768.2.4光照变化………·.··鲁鲁鲁·····自4········●·····自·····命前·●1778.2.5图像模糊1778.3局部特征的应用1798.3.1数字摄影测量1798.3.2正射影像更新1828.3.3祝频图像拼接…1868.3.4目标跟踪1908.3.5目标识别···●··。·●.音·垂自·。··非···●●··●。c。··●195参考文献……………………197索引………………………………………………………199Ⅷ第1章引言长久以来,机器视觉认知一直是人们研究的热点,它是研究使用机器或计算机智能地认知周围物体的科学。然而,即使是一个十分简单物体,要使用机器或计算机去识别它都是一件十分不容易的事。其中,最为关键的莫过于是物体的表示或描述,也就是说,究竞提取什么样的特征才能够用于区别一物体与另一物体。局部不变性特征的出现,似乎使我们看到了解决这一问题的希望,它作为一种十分有效的手段已被成功地应用到广泛的领域和系统中,包括宽基线匹配、物体检测和识别、纹理识别、场景分类、机器人漫游、视觉数据挖掘等。另外,局部不变性特征也被用于精确制导武器的景象匹配和图像自动寻的制导中。1.1局部特征发展历程有关图像局部特征研究的历史可以追溯到20世纪70年代末。1977年Moravec就提出了角点特征,当时他使用的是“兴趣点”这个概念。 Moravec通过灰度自相关函数来考虑一个像素和其邻域像素的相似性。对于位于平坦区域的像素,很显然它跟周围的点看起来都差不多,而像素处在多个方向都有亮度变化的位置时就与周围像素不相似了,这就是所要检测的角点。 Moravec角点检测有很多局限性,例如它不具备旋转不变性,对噪声敏感等。现在一般只在介绍局部特征历史的时候才会被人提及到。1988年Har2提出了角点特征算法。与 Moravec角点不同, Harris用微分算子替代了亮度块的方向移动,构造了具有结构信息的2x2 Harris矩阵。如果这个矩阵具有两个比较大的特征值时,则被认定为是一个角点特征。由于采用微分算子和矩阵特征值进行判定, Harris角点比 Moravec角点具有更高的检测率和重复率,并且对旋转和灰度变化具有不变性。到目前为止, Harris角点在某些应用中仍然被使用。在局部特征的历史上,特别值得一提的是 Lindeberg在20世纪90年代系统地提出了信号的尺度空间理论。为了分析图像中各个局部特征的尺度,图像需要通过一系列平滑(他从理论上证明了高斯核是尺度空间唯一正确的滤波器组),这样就得到了一系列的平滑图像,即图像的尺度空间。直观上讲,尺度空间理论对应于图像的缩放变换,通过改变尺度参数,达到对同一物体的不同缩放比例,实现尺度不变性。借助尺度的概念, Mikolajczyk和 Schmid提出了 HarriS-Laplacian检测算子和 Harris-Aine检测算子。 Harris-Laplacian算子将 Harris角点检测算子与高斯尺度空间相结合,利用 Lindeberg提出的通过迭代估计仿射不变性邻域的思路,使角点特征增加了尺度不变性。 Harris- Affine检测算子能自动检测仿射变换下的图像特征,具有伤射不变的特征。2000年Lowe提出了高效的SIT( ScaleInvariant Feature Transform)局部特征,它是局部特征研究过程中里程碑式的工作。Lowe利用金字塔和高斯核滤波差分来快速的求解高斯拉普拉斯空间中的极值点,加快了特征提取的速度。SIT特征在图像旋转、尺度变换、仿射变换和视角变化条件下都有很好的不变性。2006年Bay沿着Lowe的思路,提出了SURF( Speeded Up robust Features)局部特征。通过积分图像和Ha小波相结合,SURF进一步提高了特征的提取速度。在2000年之后另一项有影响力的局部特征研究是 Matas提出了最大稳定极值区域 Maximally Stable ExtremalRegions SeRS)的特征检测方法。该方法借用分水岭的思路用于检测图像中灰度最稳定的局部区域,然后对检测区域进行旋转和尺寸的归一化,最后得到的2,3试空局部特征具有严格意义上的仿射不变性。从局部特征的发展历程来看,局部性并不是关键,因为人们研究角点,兴趣点的历史已长达30余年。局部特征的若干不变性(旋转不变性、尺度不变性、仿射不变性、灰度不变性等)才是局部特征研究发展的关键所在。近年来,局部特征成功的真正原因在于它提供了一种具有统计意义的图像内容表述。这种图像内容表达方式避免了图像处理中语义层次上的图像分割。众所周知,从背景中分割出前景是一个非常困难的任务,恐怕没有一个通用的方法只利用底层特征就能解决这个难题。将图像描述成(有可能重叠)局部区域集合,其实隐含了对图像进行分割:因为特征是局部的,所以落在前景上的部分特征可以被认为是与目标有关的,而落在背景上的特征则被认为是无关的。接下来的步骤就是怎么设计一个滤波器把无关的局部特征删除,或者使滤波后局部特征中的相关成分占据较大的比重。这个对于局部特征新的研究视角也开创了一系列新的应用,向着认知理解图像又前进了一大步。1.2常用术语本节我们列出本书常用的一些术语。(1)兴趣点、区域和局部特征。这三个名词具有相同的概念,出现或运用在不同的历史时期或应用中。理想的局部特征就是一个点,一个只有空间位置