图像局部不变性特征与描述.pdf

前言 终得军战怎 图像局部不变性特征是近10年来图像处理、模式识别等领域里的一个研究 热点。很长时间以来,人们一直期望机器能像人一样智能地辨识周围世界的事 物但人们这种期望似乎总是一次次的变成了失望。在20世纪的70年代末80 年代初,由于计算机的发明和处理能力的提高,在全球范围内兴起了人工智能 的研究热潮,但不到10年时间,就有人断言人工智能这门学科已经是日薄西山。 到20世纪的90年代初,神经元网络的研究也几乎达到了狂热的程度,但又是 不到10年的时间,人们终于认识到过去人工智能不能解决的问题,神经元网络 同样不能解决。或许是当年冯诺伊曼发明的计算机存在严重的缺陷,或许是生 物的智能和思维过程实在是太复杂。人类让机器模仿人类自己本来就是一个悖 论问题,要不然,机器不就是真要统治人类了?一方面,现实的需求是那样的 强烈,人们有太多的事情需要机器可以智能地去处理,而另一方面,智能研究 的进展又是那样的迟缓,需求者的抱怨总是此起彼伏。 21世纪初,图像局部不变性特征研究的兴起,又一次点燃了人们对智能研 究的热情,虽然它没有像当年人工智能、神经元网络的倡导者们声称的那样能 包打天下,但它的确实实在在地解决了我们过去没有解决的实际问题。对于图 像局部不变性特征方法,核心是“不变性”三个字。人类在识别一个物体时, 不管这个物体或远或近,都能对它进行正确的辨认,这就是所谓的尺度不变性 同样,当这个物体发生旋转时,我们照样可以正确地辨认它,这就是所谓的旋 转不变性......那么,如何让机器也与人类一样具有这种能力呢?这就是图像局 部不变性特征要解决的问题。 提到图像局部不变性特征,有两个人是不得不提及的,一个是 Lindeberg, 另一个是Lowe。如果将局部不变性特征方法比作一个孩子,那么, Lindeberg 就是父亲,Lowe就是母亲。 Lindeberg奠定了局部不变性特征方法的理论基础, 播下了局部不变性特征方法的种子,而Lowe则将这颗种子孕育成为一种能具体 实现的方法。由于在 Lindeberg的尺度空间理论中,各种高斯微分算子与哺乳动 物的视网膜和视觉皮层的感受域剖面有着高度的相似性,所以,尺度空间理论 经常与生物视觉相关联,有人也称图像局部不变性特征方法为基于生物视觉的 不变性方法。 本书是按照概念→理论→方法一实例思路来依次组织的。第1章介绍有关 局部不变性的历史沿革和基本概念,第2章介绍有关局部不变性的尺度空间理 论基础,第3章至第7章详细给出了局部不变性特征的实现方法,第8章评价 了各种局部不变性方法并给出了若千应用实例。本书先由王永明拟定内容和提 纲,后由王永明和王贵锦分别撰写。第3章至第6章主要由王永明撰写,第1、 2章和7章主要由王贵锦撰写,第8章由两个人共同撰写。博土研究生施陈博、 廖超、苗泉和刘永,参与了对本书中各种方法的计算机程序实现和部分校对工 作 本书是结合我们承担的具体任务,利用业余时间撰写而成的,前后历时两 年,中间虽经数次反复,但各种疏漏和瑕疵仍不可进免,只当是抛砖引玉,恳 请读者批评指正。 王永明王贵锦 IV 目录 第1章引言 1.1局部特征发展历程... 1.2常用术语 1.3局部特征性质 ···················.aa·a···· 1.4局部特征应用... 局部特征配准流程和本书的结构 ······ 124579 参考文献 ····●● 第2章图像尺度空间理论 ●鲁·。●命·音··· 2.I金字塔多分辨率... 2.2高斯尺度空间及性质 13 2.21多尺度和多分辨率 1 2.2.2尺度空间和生物视觉 18 池 23自动尺度选择... ...............18 2.3.1尺度选择思路 20 2.32尺度选择准则... ...............21 24斑点(Blob)检测... 23 4.1一维信号斑点检测 23 2.4.2LoG检测 27 4.3DoH检测 30 25边缘(Edge)检测 ····.··。。·.··t● 2.6角点( Corner)检测... .........37 2.6.1角点定位算法... 39 2.6.2角点检测效果...... ●非●···· 40 参考文献 42 第3章点与边缘检测 45 3.1 Harris角点 ····鲁●●·● 46 3.2尺度不变性 Harris角点 ····●·●····t 52 32.1 Harris尺度不变性问题... ...........................52 3.2.2.多尺度二阶矩 53 3.2.3多尺度 Harris角点 54 3.2.4多尺度 Harris角点精化......... 6 3.3仿射不变性 Harris角点 57 3.3.1初始定位: Affine Gaussian Scale-Space...... ...58 3.3.2仿射不变性角点检测 61 3.4 SUSAN检测算子......... 65 35边缘检测 5t···非···自.····· 69 3.5.1一阶微分边缘算子 69 3.5.2二阶微分边缘算子 ....................................71 3.5.3 Canny边缘检测算子 73 参考文献... 第4章高效斑点检测方法 79 4.1SIFT算法 4.1.1DoG尺度空间生成 ●··。看自 79 4.1.2特征点搜索 81 4.1.3点的搜索与定位 ∴......84 4.1.4删除边缘效应 87 4.2SURF算法...... 89 4.2.1积分图像.................. 90 4.2.2DH近似 91 4.2.3尺度空间表示 94 参考文献... ●。 ∴......100 第5章区域检测方法 ∴......102 5.1最大稳定极值区域... 103 5.1.1 USERS基本概念与定义 103 5.1.2 MSERs检测 106 5.1.3 USERs区域拟合 112 5.1.4 USERs区域归一化 115 5.2·基于边缘区域 118 5.2.1曲线边缘 118 5.2.2直线边缘 120 5.3基于密度极值区域 121 5.4显著性区域......... 123 5.4.1区域信息熵... ·····鲁带鲁鲁 123 VI 5.4.2圆形显著性区域... 125 5.4.3非对称显著性区域 ............126 参考文献 127 第6章图像局部特征描述 129 6.1SIFT特征描述子... 130 6.1.1特征点方向分配... 130 6.1.2特征点特征矢量生成... 133 6.2SURF特征描述子 135 6.2.1特征点方向分配 ·········.··;···s·aa 135 6.2.2特征点特征矢量生成 137 6.3其他特征描述子 142 6.3.1 PCA-SIFT ●音·●非·。● ............142 6.3.2GLOH... 143 6.33旋转图像 144 6.3.4微分滤波器 146 参考文献 ..................148 第7章图像特征点匹配... 150 7.1Kd-树算法 151 7.1.1构建算法 152 7.1.2最近邻查询算法 154 7.1.3改进Kd-树最近邻查询 158 7.1.4Kd-树和 spill-树 160 7.1.5Kd-树与穷尽搜索比较 161 7.2匹配对提纯 162 7.2.1比值提纯法 162 7.2.2一致性提纯法 163 参考文献... ···鲁····曾。·····●·非自 ..................167 第8章评估和应用 169 8.1斑点检测算子比较... 169 8.1.1图像数据 ············。·●····。·●s ......169 8.1.2尺度缩放比较 .................................171 8.1.3视角变换比较 VII 8.1.4.光照变化比较 ●。曹非·。·●奇●鲁鲁 172 8.1.5图像模糊 172 8.2区域检测算子比较...... 173 8.2.1区域仿射不变算子的评价准则....................................173 8.2.2尺度缩放+旋转 ●●·。··。鲁着●···鲁●··。··●垂··● 174 爱试浮 8.2.3视角变换· ······················;·················自·· 176 8.2.4光照变化 ······························●········.··············· 177 8.2.5图像模糊 鲁鲁···。 177 8.3局部特征的应用 179 8.3.1数字摄影测量 179 8.3.2正射影像更新......... 182 8.3.3视频图像拼接 186 8.3.4目标跟踪 190 8.3.5目标识别 ●··············音···3···.···鲁···4●···● 195 参考文献... ··········。····c·鲁······●● ·197 索引 ...............199 VIII 第1章引言 长久以来,机器视觉认知一直是人们研究的热点,它是研究使用机器或计算 机智能地认知周围物体的科学。然而,即使是一个十分简单物体,要使用机器或 计算机去识别它都是一件十分不容易的事。其中,最为关键的莫过于是物体的表 示或描述,也就是说,究竞提取什么样的特征才能够用于区别一物体与另一物体。 局部不变性特征的出现,似乎使我们看到了解决这一问题的希望,它作为一种十 分有效的手段已被成功地应用到广泛的领域和系统中,包括宽基线匹配、物体检 测和识别、纹理识别、场景分类、机器人漫游、视觉数据挖掘等。另外,局部不 变性特征也被用于精确制导武器的景象匹配和图像自动寻的制导中。 1.1局部特征发展历程 有关图像局部特征研究的历史可以追溯到20世纪70年代末。1977年 Moravec就提出了角点特征,当时他使用的是“兴趣点”这个概念。 Moravec 通过灰度自相关函数来考虑一个像素和其邻域像素的相似性。对于位于平坦区 域的像素,很显然它跟周围的点看起来都差不多,而像素处在多个方向都有亮 度变化的位置时就与周围像素不相似了,这就是所要检测的角点。 Moravec角 点检测有很多局限性,例如它不具备旋转不变性,对噪声敏感等。现在一般只 在介绍局部特征历史的时候才会被人提及到。1988年Hari2提出了角点特征算 法。与 Moravec角点不同, Harris用微分算子替代了亮度块的方向移动,构造 了具有结构信息的2x2 Harris矩阵。如果这个矩阵具有两个比较大的特征值时, 则被认定为是一个角点特征。由于采用微分算子和矩阵特征值进行判定, Harris 角点比 Moravec角点具有更高的检测率和重复率,并且对旋转和灰度变化具有 不变性。到目前为止, Harris角点在某些应用中仍然被使用。在局部特征的历史 上,特别值得一提的是 Lindeberg在20世纪9年代系统地提出了信号的尺度 空间理论。为了分析图像中各个局部特征的尺度,图像需要通过一系列平滑(他 从理论上证明了高斯核是尺度空间唯一正确的滤波器组),这样就得到了一系 列的平滑图像,即图像的尺度空间。直观上讲,尺度空间理论对应于图像的缩 放变换,通过改变尺度参数,达到对同一物体的不同缩放比例,实现尺度不变 性。借助尺度的概念, Mikolajczyk和 Schmid提出了 HarriS-Laplacian检测算 子和 Harris-Affine检测算子。 Harris-Laplacian算子将 Harris角点检测算子与高 斯尺度空间相结合,利用 Lindeberg提出的通过迭代估计仿射不变性邻域的思 路,使角点特征增加了尺度不变性。 Harris- Affine检测算子能自动检测仿射变换 下的图像特征,具有仿射不变的特征。2000年Lowe提出了高效的SIT( Scale Invariant Feature Transform)局部特征,它是局部特征研究过程中里程碑式的工 作。Iowe利用金字塔和高斯核滤波差分来快速的求解高斯拉普拉斯空间中的极 值点,加快了特征提取的速度。SF特征在图像旋转、尺度变换、仿射变换和 视角变化条件下都有很好的不变性。2006年Bay沿着Lowe的思路,提出了 SURF( Speeded Up robust Features)局部特征。通过积分图像和Har小波相结 合,SURF进一步提高了特征的提取速度。在2000年之后另一项有影响力的局 部特征研究是 Matas提出了最大稳定极值区域( Maximally Stable Extremal Regions SerS)的特征检测方法。该方法借用分水岭的思路用于检测图像中灰 度最稳定的局部区域,然后对检测区域进行旋转和尺寸的归一化,最后得到的 2,3试空 局部特征具有严格意义上的仿射不变性。 从局部特征的发展历程来看,局部性并不是关键,因为人们研究角点,兴 趣点的历史已长达30余年。局部特征的若干不变性(旋转不变性、尺度不变性、 仿射不变性、灰度不变性等)才是局部特征研究发展的关键所在。近年来,局 部特征成功的真正原因在于它提供了一种具有统计意义的图像内容表述。这种 图像内容表达方式避免了图像处理中语义层次上的图像分割。众所周知,从背 景中分割出前景是一个非常困难的任务,恐怕没有一个通用的方法只利用底层 特征就能解决这个难题。将图像描述成(有可能重叠)局部区域集合,其实隐 含了对图像进行分割:因为特征是局部的,所以落在前景上的部分特征可以被 认为是与目标有关的,而落在背景上的特征则被认为是无关的。接下来的步骤 就是怎么设计一个滤波器把无关的局部特征删除,或者使滤波后局部特征中的 相关成分占据较大的比重。这个对于局部特征新的研究视角也开创了一系列新 的应用,向着认知理解图像又前进了一大步 12常用术语 本节我们列出本书常用的一些术语。 (1)兴趣点、区域和局部特征。这三个名词具有相同的概念,出现或运用在 不同的历史时期或应用中。理想的局部特征就是一个点,一个只有空间位置