基于局部特征的图像匹配.pptx

1、基于局部不变特征的图像匹配,一、局部不变特征 二、基于局部不变特征的匹配方法 三、基于局部不变特征匹配的应用,一、局部不变特征,定义： 局部不变特征是指局部特征的检测或描述对图像的各种变化, 例如几何变换、光度变换、卷积变换、视角变化等保持不变。,一、局部不变特征,局部不变特征特性: 1)重复性：相同场景或目标在不同成像条件下图像提取的局部不变特征应该是相同的; 2)区分性：局部不变特征应包含较大的灰度或色度模式变化, 易于区分; 3)局部性：局部不变特征应具有局部性, 减小遮挡的概率, 同时可以采用简单的变换模型对图像间的变换进行近似建模;,一、局部不变特征,局部不变特征特性: 4)精确性：

2、局部不变特征应可以在空域、尺度域及形状域上精确定位; 5)不变性：局部不变特征的检测和描述对各种变换应具有不变性; 6)鲁棒性：局部不变特征的检测和描述应对图像噪声、量化误差、模糊等不敏感。,一、局部不变特征,理论基础： 1、C. Schmid, R. Mohr, Local Grayvalue Invariants for Image Retrieval, IEEE PAMI, 19 (1997):530534 利用图像的局部信息足以描述图像包含的内容 2、D. G. Lowe, Distinctive Image Features from Scale-Invariant Keypoint

3、s, International Journal of Computer Vision, 60, 2 (2004),91110. 证明了局部信息足以用来进行图像识别,二、基于局部不变特征的匹配方法,2.1 联合ARPIH和直方图相似性距离 2.2 基于Shape Context 2.3 联合色彩和几何信息,2.1 联合ARPIH和直方图相似性距离,APPIH描述符,0.57 0.85 1,2.1 联合ARPIH和直方图相似性距离,ARPIH描述符,直方图的x轴是子区域的编号, y 轴是灰度级(0-255) ,被均匀划分为18 个灰度范围。将每一子区域中的像素点按其灰度值划分到各个灰度范围中。

4、例如:ARPIH 中, z 轴H (11 ,9) 表示第11 号子区域中灰度值在 115 ,129) 范围内的点的个数。,2.1 联合ARPIH和直方图相似性距离,ARPIH描述符 通过使用ARPIH 描述符,将2 个图像区域的匹配转化成为2 幅直方图的匹配,减少了计算的复杂性,且拥有良好的抗畸变能力,2.1 联合ARPIH和直方图相似性距离,直方图相似性距离 假设对于有相同大小的图像的两个直方图，分别为H(m,n)和 H(m,n)。,2.1 联合ARPIH和直方图相似性距离,这个匹配算法的匹配步骤如下： Step1：用Bresenham算法计算模板图像的ARPIH。 Step2：从目标图像中

5、的坐上角开始选择和模板图像大小一样的子图像，并计算其ARPIH。 Step3：匹配两个直方图并计算 ,将其存入到数组中并记录其相关联的的位置。,2.1 联合ARPIH和直方图相似性距离,这个匹配算法的匹配步骤如下： Step4：在目标图像中滑动模板图像，搜寻和模板图像一样大小的子图像，计算ARPIH。 Step5：重复第三步和第四步直到扫描完整个目标图像，匹配位置即为有最大的 的区域。,2.1 联合ARPIH和直方图相似性距离,2.1 联合ARPIH和直方图相似性距离,2.1 联合ARPIH和直方图相似性距离,结论： 将局部不变的特征描述符ARPIH 和直方图的相似性距离( HSD) 结合起来

6、,以实现对旋转、亮度变化、透视等畸变图像的有效匹配。实验证明,本算法可以有效地实现对上述畸变图像的匹配,具有优越的抗畸变性能。,2.2 基于Shape Context,Shape Context描述符,整个区域分为12*5块，所以像素 的特征信息是以参考点为原点，剩下点的log极坐标的柱状图。任何物体的轮廓可以被一个n*60大小的矩阵表示。,2.2 基于Shape Context,Shape Context描述符,2.2 基于Shape Context,Shape Context描述符,n*60,2.2 基于Shape Context,Shape Context描述符 优点： 我们可以选择一些

7、图像，比如人的，然后训练得到SC特征并且建立局部特征的数据库。 目标识别,2.2 基于Shape Context,相似度测量： 对新的图像，在边缘检测和训练后，我们得到图像框架的sc特征，然后我们用cost值估计目标特征点和数据库之间的相似度。,2.3 联合色彩和几何信息,HSV空间 H：色调 S：饱和度 V：亮度 ,2.3 联合色彩和几何信息,可以看到，这种定义的一种好处是在亮度加上一个不变值时色调是不变的。 反应几何信息的经典特征 ,2.3 联合色彩和几何信息,三、基于局部不变特征匹配的应用,局部不变特征在宽基线匹配、特定目标识别、目标类别识别、图像及视频检索、机器人导航、场景分类、纹理识

8、别和数据挖掘等多个领域得到了广泛的应用。,三、基于局部不变特征匹配的应用,例：基于shape context特征匹配的目标跟踪,投票预计目标中心 关于检测点A的SC信息被定义为 ，并且 被定义为数据库中的 和 之间的匹配概率，并且目标o中的中心点c被A点估计定义为 。所以我们可以得到目标中心的概率为： 对目标o， 根据不同点c得到一个投票图V，其中的最大值即为中心。,三、基于局部不变特征匹配的应用,三、基于局部不变特征匹配的应用,投票结果,三、基于局部不变特征匹配的应用,MatlaB仿真目标追踪,三、基于局部不变特征匹配的应用,MatlaB仿真目标中心轨迹,三、基于局部不变特征匹配的应用,结论： 与传统的目标追踪算法相比，这种基于Shape Context的柱状图相似度的测量方法在目标畸变和旋转时匹配得更好，跟踪效果更佳。,三、基于局部不变特征匹配的应用,局部不变特征目前已逐渐成为特征提取技术的主流，其优良的性能获得了广大研究人员的认可，但其中很多方面需要改进和完善，还有大量的工作值得去研究和探讨。,三、基于局部不变